Automātisko mērogošanu ar DeepSeEK-R1 var pielāgot, lai apstrādātu dažāda veida pieprasījumus vai scenārijus, it īpaši, ja to izvieto tādās platformās kā Amazon Sagemaker. Sagemaker galapunkti atbalsta automātisko mērījumu, ļaujot DeepSEEK-R1 horizontāli mērogot, pamatojoties uz ienākošo pieprasījuma apjomu. Tas nozīmē, ka modelis var dinamiski pielāgot savus resursus, lai pārvaldītu dažādas slodzes, nodrošinot efektīvu veiktspēju dažādos apstākļos.
automātiskās mērogošanas pielāgošana
1. Pieprasījuma apjoms: automātisko mērogošanu var izraisīt, pamatojoties uz ienākošo pieprasījumu apjomu. Piemēram, ja modelis vienlaikus apstrādā lielu skaitu vaicājumu, tas var automātiski mērogot, lai nodrošinātu, ka visi pieprasījumi tiek apstrādāti nekavējoties, neapdraudot veiktspēju.
2. Pieprasījuma tips: Lai gan īpaša automātiskās mērogošanas pielāgošana, pamatojoties uz pieprasījuma veidu (piemēram, sarežģīti argumentācijas uzdevumi salīdzinājumā ar vienkāršiem vaicājumiem), iespējams, netiks tieši atbalstīti, jūs varat ieviest pielāgotu loģiku, lai atšķirtu pieprasījuma veidus. Tas varētu ietvert atsevišķu parametru vai rindu iestatīšanu dažāda veida pieprasījumiem, katram no tiem ir savi mērogošanas noteikumi.
3. Uz scenāriju balstīta mērogošana: dažādiem scenārijiem, piemēram, maksimālajām stundām vai īpašiem notikumiem, jūs varat iepriekš konfigurēt mērogošanas noteikumus, lai paredzētu pieaugošu pieprasījumu. Šī proaktīvā pieeja nodrošina, ka modelim ir atbilstoši resursi, lai apstrādātu paredzamos satiksmes pieaugumus.
ieviešana platformās
-Amazon Sagemaker: piedāvā iepriekš izveidotas precizējošas darbplūsmas un atbalsta automātisko mērogošanu DeepSEEK-R1 destilētiem modeļiem. Lai vienkāršotu modeļa pielāgošanas un mērogošanas procesus, varat izmantot Sagemaker Hyperpod receptes [5] [7].
- Kopā AI: nodrošina DeepSEEK-R1 bez servera izvietošanas iespēju, kas pēc būtības atbalsta dinamisku mērogošanu, pamatojoties uz pieprasījuma apjomu. Tomēr īpašai pielāgošanai dažādiem pieprasījumu veidiem var būt nepieciešama papildu iestatīšana vai integrācija ar pielāgotu loģiku [2].
Secinājums
Kaut arī DeepSEEK-R1 automātiskās mērogošanas iespējas ir stabilas, it īpaši tādās platformās kā Sagemaker, šo iespēju pielāgošanai dažāda veida pieprasījumiem vai scenārijiem var būt nepieciešama papildu iestatīšana vai integrācija ar pielāgotu loģiku. Tas ietver platformas funkciju izmantošanu, lai atšķirtu pieprasījumu veidus vai scenārijus un attiecīgi konfigurētu mērogošanas noteikumus.
Atsauces:
[1.]
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-izloce-depseek-r1-locally-with-a-custom-rag-zināšanas-data-bāzes
[4] https://www.kdnugets.com/how-to-fine-tune-depseek-r1-custom-dataSet
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-depseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[6.]
[7] https://aws.amazon.com/blogs/machine-learning/customize-depseek-r1-distille-models-using-amazon-sagemaker-hyperpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-offers-depseek-r1-as-astery-managed-serverless-model-recomds-guardrails.aspx