在Amazon Sagemaker中使用弹性负载平衡(ELB)自动缩放涉及根据工作负载需求动态调整实例数量，同时在这些实例中有效分发传入的流量。这是该集成如何工作的详细概述：
##在萨格人的自动缩放
Amazon SageMaker支持实时终点的自动缩放，从而使系统能够动态调整模型为响应推理工作负载的变化[3] [7]的实例数量。此功能可确保通过在高峰时段扩展并在低需求期间进行扩展来确保资源优化，从而保持最佳性能，同时最大程度地降低成本[1] [3]。
SageMaker提供了几种自动缩放选项，包括目标跟踪缩放，步骤缩放和预定的缩放。目标跟踪缩放通常使用，在此设置目标度量标准(例如，CPU利用率)，而SageMaker则调整实例计数以维持该目标[3] [5]。
##弹性负载平衡(ELB)集成
虽然萨格人的自动缩放主要侧重于基于工作负载指标调整实例计数，但与弹性负载平衡集成可以增强这些实例中流量的分布。 ELB确保将传入请求最佳地路由到可用的实例，提高响应能力并降低瓶颈[9]。
在典型的设置中，ELB在自动缩放组中注册实例，并在其范围内分发流量。当通过自动扩展添加或删除实例时，ELB会自动调整其配置以包括或排除这些实例，以确保流量始终针对活动实例[9]。
##自动缩放如何与萨吉马制造者的ELB一起使用
1。工作负载监视：SageMaker监视工作负载指标，例如CPU利用率或每个实例并发请求。如果这些指标超过预定义的阈值，则会触发自动缩放策略[2] [3]。
2。缩放措施：当工作负载增加时，萨格人通过提供其他实例来扩展。 ELB会自动注册这些新实例，并开始向它们分发流量。相反，当工作负载减少时，萨吉式制造商通过删除不必要的实例来缩放，而Elb deregisters则这些实例以防止它们接收流量[2] [9]。
3.流量分布：在此过程中，ELB确保了传入请求有效分布在整个活动实例中。这不仅可以提高性能，还可以通过最大程度地减少响应时间和避免瓶颈来维持一致的用户体验[9]。
4.成本优化：通过根据实际需求扩展实例并使用ELB管理流量分配，组织可以优化其成本。他们只为使用的资源支付费用，从而减少了需求低时期的不必要的费用[3] [7]。
总而言之，在萨吉式制造商中，自动缩放与弹性负载平衡的集成提供了一种强大而有效的方法来管理实时推理工作负载。它确保对资源进行动态调整以满足不断变化的需求，同时保持最佳性能和成本效率。
引用：
[1] https://businesscompassllc.com/fficity-managing-managing-traffic-for-amazon-sagemaker-real time-endpoints-with-autoscaling-and-autoscaling-and-xgboost/
[2] https://randomtrees.com/blog/auto-scaling-for-generative-generative-ai-models-with-amazon-sagemaker/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-your-machine-learning-deployments-with-auto-scaling-scaling-on-mazon-sagemaker/
[4] https://repost.aws/questions/qudpxlldhzs1gnasln4ebrxw/sagemaker-inference-inference-recommendation
[5] https://www.restack.io/p/real time-iai-infere--anfere--ander-sagemaker-autoscal-cat-ai
[6] https://stackoverflow.com/questions/71344215/how-does-scaling-policy-work-with-with-sagemaker-endpoints
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-autopoint-auto-scaling-policy.html
[9] https://jayendrapatil.com/aws-auto-scaling-elb/