Samodejno skaliranje znatno poveča delovanje modelov Deepseek-R1 na Amazon SageMakerju, tako da dinamično prilagaja število primerkov in modelnih kopij na podlagi povpraševanja v realnem času. Ta sposobnost zagotavlja, da lahko model učinkovito obravnava nihanja v delovni obremenitvi in tako zagotavlja brezhibno uporabniško izkušnjo, hkrati pa optimizira uporabo in stroške virov.
Ključne prednosti samodejnega obsega za Deepseek-R1 na SageMakerju
1. Dinamična dodelitev virov: Samodejno širjenje omogoča SAGEMAkerju, da zagotavlja dodatne primere in uporabi več modelnih kopij, ko se promet poveča, kar zagotavlja, da lahko model obravnava večjo količino zahtev, ne da bi pri tem ogrozil uspešnost. Nasprotno, ko se promet zmanjšuje, se odstranijo nepotrebni primeri, kar zmanjšuje stroške z izogibanjem prostem teku [1] [2] [5].
2. Izboljšana odzivnost: Samodejno presejanje s povečanjem povpraševanja pomaga ohranjati nizko zamudo in visoko prepustnost. To je še posebej pomembno za generativne modele AI, kot je Deepseek-R1, kjer odzivnost neposredno vpliva na uporabniško izkušnjo [2] [8].
3. Stroški učinkovitosti: samodejno širjenje zagotavlja učinkovito uporabo virov. V času, ki niso v največji meri, se lahko končna točka zmanjša na nič, kar optimizira porabo virov in stroškovno učinkovitost. Ta funkcija je še posebej koristna za aplikacije s spremenljivimi vzorci prometa [1] [5].
4. Prilagodljivo skaliranje: Funkcije samodejnega skaliranja SageMakerja so zasnovane tako, da se prilagajajo specifičnim potrebam generativnih modelov AI, kot je Deepseek-R1. Z uporabo meritev z visoko ločljivostjo, kot sta ConcurrentRequestSpermodel in ConcurrentRequestSpercopy, lahko sistem sprejema natančne odločitve o skaliranju in tako zagotovi, da model ostane odziven in stroškovno učinkovit [2] [8].
5. Integracija z uravnoteženjem obremenitve: samodejno širjenje deluje brezhibno z uravnoteženjem elastične obremenitve, da učinkovito distribuira dohodne zahteve po zmanjšanih virih. Ta integracija zagotavlja, da noben primer ni preobremenjen in ohranja dosledno uspešnost v vseh zahtevah [1] [8].
Ocenjevanje uvajanja in uspešnosti
Deepseek-R1 modele je mogoče namestiti na SageMaker s pomočjo sklepčenja besedila obraza (TGI), ki podpira samodejno skaliranje. Učinkovitost teh modelov se ocenjuje na podlagi meritev, kot so zamuda od konca do konca, pretok, čas do prvega žetona in medsebojno zamude. Medtem ko zagotovljene ocene ponujajo vpogled v relativno zmogljivost, uporabnike spodbujajo, da opravijo lastno testiranje, da optimizirajo uspešnost za posebne primere uporabe in konfiguracije strojne opreme [1] [4].
Če povzamemo, samodejno skaliranje na SAGEMAkerju povečuje uspešnost Deepseek-R1 z zagotavljanjem dinamične razporeditve virov, izboljšanjem odzivnosti, optimizacijo stroškov in prilagajanjem spreminjanju potreb, hkrati pa ohranja kakovostne zmogljivosti jezikovnega modela.
Navedbe:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[2] https://randomtrees.com/blog/auto-scaling-for-generative-ai-models-with-amazon-sagemaker/
[3] https://repost.aws/Questions?view=all&sort=recent&page=eyj2ijoylcjuiizgtmyktUmnf0wuzn Y1dmahkxcgrvt09iwidci6ikzrbitwvzi2m05zvklzbwgzt0vwzk5wvm5ovKivoxByn21tq0ppdthRwwc9in0
[4] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/
[5] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[6] https://www.bytePlus.com/sl/topic/382691
[7] https://campustechnology.com/articles/2025/03/14/aws-offers-deepseek-r1-as-fly-maged-Serverless-model-Recommends-guardrails.aspx
[8] https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-inference-launches-faster-auto-scaling-for-generative-ai-models/