A escala automática com balanceamento de carga elástica (ELB) no Amazon Sagemaker envolve ajustar dinamicamente o número de instâncias com base nas demandas da carga de trabalho, enquanto distribui com eficiência o tráfego recebido nessas instâncias. Aqui está uma visão geral detalhada de como essa integração funciona:
Scaling automático em Sagemaker
A Amazon Sagemaker suporta a escala automática para pontos de extremidade em tempo real, permitindo que o sistema ajuste dinamicamente o número de instâncias provisionadas para um modelo em resposta a alterações na carga de trabalho de inferência [3] [7]. Esse recurso garante que os recursos sejam otimizados ao escalar durante o horário de pico e dimensionar durante períodos de baixa demanda, mantendo assim o desempenho ideal e minimizando os custos [1] [3].
A Sagemaker oferece várias opções de escala automática, incluindo escala de rastreamento de destino, escala de etapas e escala programada. O escala de rastreamento de destino é comumente usado, onde você define uma métrica de destino (por exemplo, utilização da CPU) e o Sagemaker ajusta a contagem de instância para manter esse alvo [3] [5].
Integração de balanceamento de carga elástica (ELB)
Embora a escala automática do Sagemaker se concentre principalmente no ajuste da contagem de instâncias com base em métricas de carga de trabalho, a integração do balanceamento de carga elástica aumenta a distribuição do tráfego nessas instâncias. O ELB garante que as solicitações recebidas sejam roteadas de maneira ideal para instâncias disponíveis, melhorando a capacidade de resposta e reduzindo os gargalos [9].
Em uma configuração típica, o ELB registra instâncias em um grupo de escala automática e distribui o tráfego por eles. Quando as instâncias são adicionadas ou removidas por escala automática, o ELB ajusta automaticamente sua configuração para incluir ou excluir essas instâncias, garantindo que o tráfego seja sempre direcionado a instâncias ativas [9].
como a escala automática funciona com o cotovel
1. Monitoramento da carga de trabalho: Sagemaker monitora métricas de carga de trabalho, como utilização da CPU ou solicitações simultâneas por instância. Se essas métricas excederem os limiares predefinidos, a política de escala automática será acionada [2] [3].
2 Ações de escala: Quando a carga de trabalho aumenta, o Sagemaker escala provisionando instâncias adicionais. O ELB registra automaticamente essas novas instâncias e começa a distribuir tráfego para eles. Por outro lado, quando a carga de trabalho diminui, o Sagemaker é escalado ao remover instâncias desnecessárias e desregurta o cotovelas dessas instâncias para impedir que eles recebam tráfego [2] [9].
3. Distribuição do tráfego: ao longo deste processo, o ELB garante que as solicitações recebidas sejam distribuídas com eficiência nas instâncias ativas. Isso não apenas aprimora o desempenho, mas também ajuda a manter uma experiência consistente do usuário, minimizando os tempos de resposta e evitando gargalos [9].
4. Otimização de custos: Ao dimensionar instâncias com base na demanda real e no uso do ELB para gerenciar a distribuição de tráfego, as organizações podem otimizar seus custos. Eles pagam apenas os recursos que usam, reduzindo despesas desnecessárias durante períodos de baixa demanda [3] [7].
Em resumo, a integração da escala automática com o equilíbrio de carga elástica no Sagemaker fornece uma maneira robusta e eficiente de gerenciar cargas de trabalho de inferência em tempo real. Ele garante que os recursos sejam ajustados dinamicamente para atender às mudanças de demandas, mantendo o desempenho ideal e a eficiência de custos.
Citações:
[1] https://businesscompassllc.com/eficientemente
[2] https://randomtrees.com/blog/auto-scaling-for-generative-ai-models-with-amazon-sagemaker/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-your-machine-learning-deplantmentations-with-auto-scaling-on-amazon-sagemaker/
[4] https://repost.aws/questions/qudpxlldhzs1gnasln4ebrxw/sageMaker-inference-recommendation
[5] https://www.restack.io/p/real-time-ai-inference-answer-sagemaker-autoscaling-cat-ai
[6] https://stackoverflow.com/questions/71344215/how-does-scaling-policy-work-with-sagemaker-ndpoints
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-policy.html
[9] https://jayendrapatil.com/aws-auto-scaling-elb/