亚马逊萨格人的自动缩放会通过动态调整基于工作负载需求的实例数量来显着影响诸如DeepSeek-R1之类的模型的成本。这是关于自动规模如何影响成本的详细说明：
##自动缩放基础知识
自动缩放允许SageMaker自动增加或减少基于进入的流量或工作量分配给模型的实例数量。这意味着，在需求较高的时期，提供了更多的实例来处理增加的负载，相反，在需求低时期，实例被缩减以最大程度地减少不必要的费用[7]。
##成本优化
1。减少闲置资源：通过在不活动期间扩展到零实例，您避免为空闲资源付费，这可以大大降低成本，尤其是在流量可能零星的开发或测试环境中[4]。
2。有效的资源利用：自动尺度确保您仅在任何给定时间支付所需的资源。这意味着在高峰时段，您可以在不提供过度资源的情况下处理增加的流量，并且在非高峰时段，您可以降低以最大程度地减少成本[7]。
3。可预测的成本管理：通过自动缩放，您可以为可预测的流量模式设置计划的缩放措施。这使您可以通过将资源分配与预期需求保持一致[4]来更有效地管理成本。
DeepSeek-R1部署注意事项
在将DeepSeek-R1或其蒸馏型变体部署在SageMaker上时，自动尺度可能特别有益。这些模型，尤其是较大的模型，例如DeepSeek-R1-Distill-Qwen-14b或DeepSeek-R1-Distill-Qwen-32b，需要大量的计算资源，并且可以连续运行可能是昂贵的[6]。通过利用自动缩放，您可以确保仅在需要时提供这些资源，从而降低整体成本。
##安全和绩效注意事项
虽然自动缩放主要是一种成本优化策略，但它也与SageMaker的安全功能很好地集成在一起。例如，从私有S3存储桶中部署模型可以通过使模型权重接近端点并允许在部署前进行漏洞扫描来增强安全性[3]。此外，使用较大的批量大小进行实时推理可以优化成本和性能[2]。
总而言之，通过确保资源与实际需求保持一致，从而减少活动期间不必要的费用，可以在萨格马制造商中的自动缩放来优化诸如DeepSeek-r1之类的模型的成本的强大工具。
引用：
[1] https://www.linkedin.com/pulse/unlocking-cost-cost-cost-strategies-pategies-optimizing-amazon-af4of
[2] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-models-on-amazon-sagemaker-sagemaker-usis-using-a-rarge-a-a-large-model-inference-container/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-hosting-deepseek-r1-dist--------------------
[4] https://aws.amazon.com/blogs/machine-learning/unlock-cost-savings-with-the-new-new-scale-down-down-wown-to-weat----------------------------------
[5] https://community.aws/content/2sg84dnucfza9z4hdfqti0tcvkp/deploying-deploying-deepseek-r1-on-on-amazon-sagemaker?lang=en
[6] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-deepseek-r1-on-aws?lang=en
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://www.linkedin.com/posts/ranman_while-deepseek-r1-is-technally-available-available-activity-729089372454543262721-3Qiv
[9] https://aws.amazon.com/sagemaker/pricing/