Automatinis skalavimas naudojant „Deepseek-R1“ gali būti pritaikytas įvairių tipų užklausoms ar scenarijams tvarkyti, ypač kai jie yra įdiegti tokiose platformose kaip „Amazon Sagemaker“. „SageMaker“ galiniai taškai palaiko automatinį mastelį, leidžiantį „Deepseek-R1“ mastelio mastelio mastelio keitimą pagal gaunamą užklausos tūrį. Tai reiškia, kad modelis gali dinamiškai pakoreguoti savo išteklius, kad būtų galima valdyti įvairias apkrovas, užtikrindamas efektyvų našumą skirtingomis sąlygomis.
Automatinio mastelio pritaikymas
1. Užklausos apimtis: Automatinis skalavimas gali būti suaktyvinamas atsižvelgiant į gaunamų užklausų apimtį. Pvz., Jei modelis vienu metu tvarko daugybę užklausų, jis gali automatiškai padidinti, kad įsitikintų, jog visos užklausos yra greitai apdorojamos nepakenkiant našumui.
2. Užklausos tipas: Nors konkretus automatinio mastelio pritaikymas, atsižvelgiant į užklausos tipą (pvz., Sudėtingos samprotavimo užduotys ir paprastos užklausos) gali būti tiesiogiai nepalaikomos, galite įdiegti pasirinktinę logiką, kad diferencijuotumėte užklausų tipus. Tai gali apimti atskirų galinių taškų ar eilių nustatymą skirtingų tipų užklausoms, kurių kiekviena turi savo mastelio nustatymo taisykles.
3. Scenarijaus pagrįstas mastelio keitimas: Skirtingiems scenarijams, tokiems kaip piko valandos ar konkretūs įvykiai, galite iš anksto konfigūruoti mastelio keitimo taisykles, kad numatytumėte padidėjusią paklausą. Šis iniciatyvus požiūris užtikrina, kad modelis yra tinkamai įvertintas, kad būtų galima tvarkyti numatomus srauto smaigalius.
Įdiegimas platformose
-„Amazon Sagemaker“: siūlo iš anksto pastatytą tikslinį darbo eigą ir palaiko automatinį mastelį, skirtą distiliuotiems „Deepseek-R1“ modeliams. Norėdami supaprastinti modelio pritaikymo ir mastelio keitimo procesus, galite naudoti „Sagemaker HyperPod“ receptus [5] [7].
- Kartu AI: teikia „Deepseek-R1“ diegimo parinktį be serverio, kuri iš esmės palaiko dinaminį mastelio keitimą pagal užklausos tūrį. Tačiau specifiniam skirtingų užklausų tipų pritaikymui gali prireikti papildomos sąrankos ar integracijos su pasirinktine logika [2].
Išvada
Nors „Deepseek-R1“ automatinio mastelio galimybės yra tvirtos, ypač tokiose platformose kaip „Sagemaker“, pritaikant šias galimybes įvairių tipų užklausoms ar scenarijams, gali reikėti papildomos sąrankos ar integracijos su pasirinktine logika. Tai apima platformos funkcijų panaudojimą, kad būtų galima atskirti užklausų tipus ar scenarijus ir atitinkamai konfigūravus mastelio nustatymo taisykles.
Citatos:
[1] https://www.datacamp.com/tutorial/fine-tuning-deepseek-r1-reasoning-model
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-deploying deepseek-r1-locally-with-a-custom-rag-knowledge-data-base
[4] https://www.kdnuggets.com/how-to-fine-toune-deepseek-r1-custom-dataset
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-on-on-amazon-sagemaker-ai/
[6] https://www.endorlabs.com/learn/deepseek-r1-what-security-teams-reed-to-known-knknow?42a57130_page=2
[7] https://aws.amazon.com/blogs/machine-learning/customize-deepseek-r1-distilled-models-using-amazon-sagemaker-1perpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-hofers-deepseek-r1-Ss- Fullage-Managed-serverless-model-recommends-guardrails.aspx