Automatické rozsahy v Amazon Sagemaker výrazne ovplyvňuje náklady na nasadenie modelov, ako je Deepseek-R1, dynamickým úpravou počtu inštancií na základe požiadaviek na pracovné zaťaženie. Tu je podrobné vysvetlenie toho, ako automatické rozsahy ovplyvňuje náklady:
Základy automatického rozsahu
Automatické rozsahy umožňuje Sagemakerovi automaticky zvýšiť alebo znížiť počet inštancií pridelených vášmu modelu na základe prichádzajúceho prenosu alebo pracovného zaťaženia. To znamená, že v období vysokého dopytu sa viac prípadov poskytuje na zvládnutie zvýšeného zaťaženia a naopak, počas období nízkeho dopytu sa prípady zmenšujú, aby sa minimalizovali zbytočné náklady [7].
Optimalizácia nákladov
1.
2. Efektívne využitie zdrojov: Automatické škálovanie zaisťuje, že platíte iba za zdroje, ktoré potrebujete v ktoromkoľvek danom čase. To znamená, že počas špičkových hodín zvládnete zvýšenú premávku bez nadmerných zdrojov a počas hodín mimo špičky sa znížite, aby ste minimalizovali náklady [7].
3. Predvídateľné riadenie nákladov: Pri automatickom škálovaní môžete nastaviť naplánované akcie škálovania pre predvídateľné prenosové vzorce. To vám umožní efektívnejšie riadiť náklady zosúladením prideľovania zdrojov s predpokladaným dopytom [4].
Deepseek-R1 Úvahy o nasadení
Pri nasadení Deepseek-R1 alebo jeho destilovaných variantov na Sagemaker môže byť obzvlášť prospešné automatické rozsahy. Tieto modely, najmä tie väčšie, ako napríklad DeepSeek-R1-Distill-Qwen-14B alebo Deepseek-R1-Distill-Qwen-32B, si vyžadujú značné výpočtové zdroje a môžu byť nákladné na nepretržité fungovanie [6]. Využitím automatického rozsahu môžete zabezpečiť, aby sa tieto zdroje poskytovali iba v prípade potreby, čím sa znížia celkové náklady.
Úvahy o bezpečnosti a výkone
Zatiaľ čo automatické škála je predovšetkým stratégia optimalizácie nákladov, dobre sa integruje aj s bezpečnostnými funkciami Sagemaker. Napríklad nasadenie modelov zo súkromného vedra S3 môže zvýšiť bezpečnosť tým, že udržiavajú hmotnosti modelu bližšie k vašim koncovým bodom a umožní skenovanie zraniteľnosti pred nasadením [3]. Okrem toho môže použitie väčších veľkostí šarží pre inferenciu v reálnom čase optimalizovať náklady aj výkon [2].
Stručne povedané, automatické rozsahy v Sagemake je výkonným nástrojom na optimalizáciu nákladov na nasadenie modelov, ako je Deepseek-R1, zabezpečením toho, aby boli zdroje v súlade so skutočným dopytom, čím sa znižujú zbytočné výdavky počas období nízkej aktivity.
Citácie:
[1] https://www.linkedin.com/pulse/unlocking-cost-efficiention-trategies-optimization-amazon-af4of
[2] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-on-on-amazon-sagemaker-using-using-a-large-model-inference-container/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-for-tgi-on-on-amazon-sagemaker-ai/
[4] https://aws.amazon.com/blogs/machine-learning/unlock-cost-savings-with-the-new-scale-down-to-leer-feature-in-amazon-sagemaker-inference/
[5] https://community.aws/content/2sg84dnucfza9z4hdfqti0tcvkp/Deployinginging-deepseek-r1-on--amazon-sagemaker?lang=en
[6] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/levering-deepseek-r1-on-aws?lang=en
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://www.linkedin.com/
[9] https://aws.amazon.com/sagemaker/pricing/