Samodejno lestvico z Deepseek-R1 je mogoče prilagoditi tako, da obravnava različne vrste zahtev ali scenarijev, zlasti kadar je nameščeno na platformah, kot je Amazon SageMaker. Končne točke SageMakerja podpirajo samodejno lestvico, kar omogoča, da se Deepseek-R1 spreminja vodoravno na podlagi dohodne volumne zahteve. To pomeni, da lahko model dinamično prilagodi svoje vire tako, da upravlja z različnimi obremenitvami, kar zagotavlja učinkovito delovanje v različnih pogojih.
Prilagoditev samodejnega obsega
1. Zvezek zahteve: Samodejno preseganje je mogoče sprožiti glede na količino dohodnih zahtev. Na primer, če model hkrati obravnava veliko število poizvedb, se lahko samodejno poveča, da se zagotovi, da se vse zahteve takoj obdelajo, ne da bi pri tem ogrozili uspešnost.
2. Vrsta zahteve: Medtem ko posebna prilagoditev samodejnega presejanja na podlagi vrste zahteve (npr. Naloge zapletenih sklepov v primerjavi z preprostimi poizvedbami) morda ne bo neposredno podprta zunaj škatle, lahko uvedete logiko po meri za razlikovanje med vrstami zahtev. To bi lahko vključevalo nastavitev ločenih končnih točk ali čakalnih vrst za različne vrste zahtev, vsaka s svojimi pravili za skaliranje.
3. Scenarij, ki temelji na scenarijih: Za različne scenarije, kot so največje ure ali posebni dogodki, lahko predhodno konfigurirate pravila skaliranja, da predvidevate večje povpraševanje. Ta proaktivni pristop zagotavlja, da je model ustrezno prisiljen, da se obvladuje pričakovane trne v prometu.
Izvedba na platformah
-Amazon SageMaker: ponuja vnaprej izdelane natančne nastavitvene tokove in podpira samodejno skaliranje za destilirane modele Deepseek-R1. Za poenostavitev postopkov prilagajanja in skaliranja modela lahko uporabite recepte za hiperpod sagemakerja [5] [7].
- Skupaj AI: ponuja možnost uvajanja brez strežnika za Deepseek-R1, ki sama po sebi podpira dinamično skaliranje na podlagi glasnosti zahteve. Vendar pa lahko za posebno prilagoditev za različne vrste zahtev zahteva dodatno nastavitev ali integracijo z logiko po meri [2].
Sklep
Medtem ko so zmogljivosti za samodejno širjenje Deepseek-R1 močne, zlasti na platformah, kot je SageMaker, lahko prilagajanje teh zmogljivosti za različne vrste zahtev ali scenarijev zahteva dodatno nastavitev ali integracijo z logiko po meri. To vključuje izkoriščanje funkcij platforme za razlikovanje med vrstami ali scenariji in ustrezno konfiguriranje pravil skaliranja.
Navedbe:
[1] https://www.datacamp.com/tutorial/fine-tuning-deepseek-r1-Resoning-model
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-deepseepseek-r1-docally-with-a-custom-rag-znanje-data-base
[4] https://www.kdnuggets.com/how-to-fine----epseekseek-r1-custom-tataset
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[6] https://www.endorlabs.com/learn/deepseek-r1-what-security-teams-ne-to-znan?42A57130_page=2
[7] https://aws.amazon.com/blogs/machine-learning/customize-deepseek-r1-distilled-models-using-amazon-sagemaker-hyperpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-offers-deepseek-r1-as-fly-manidaged-Serverless-model-Recommends-guardrails.aspx