Automatické rozsahy s Deepseek-R1 je možné prispôsobiť tak, aby spracovali rôzne typy požiadaviek alebo scenárov, najmä pri nasadení na platformách, ako je Amazon Sagemaker. Koncové body SagEmaker podporujú automatické rozsahy, čo umožňuje Deepseek-R1 horizontálne mierky na základe prichádzajúceho objemu žiadosti. To znamená, že model môže dynamicky upravovať svoje zdroje na správu rôznych zaťažení, čím zabezpečí efektívny výkon za rôznych podmienok.
Prispôsobenie automatického rozsahu
1. Zväzok s požiadavkou: Automatické rozsahy je možné spustiť na základe zväzku prichádzajúcich požiadaviek. Napríklad, ak model zaobchádza s veľkým počtom otázok súčasne, môže sa automaticky rozšíriť, aby sa zabezpečilo, že všetky požiadavky sa okamžite spracujú bez ohrozenia výkonu.
2. Typ žiadosti: Zatiaľ čo konkrétne prispôsobenie automatického rozsahu na základe typu žiadosti (napr. Zložité úlohy zdôvodnenia verzus jednoduché dotazy) nemusia byť priamo podporované, môžete implementovať vlastnú logiku na rozlíšenie medzi typmi požiadaviek. To by mohlo zahŕňať nastavenie samostatných koncových bodov alebo frontov pre rôzne typy požiadaviek, z ktorých každá má vlastné pravidlá škálovania.
3. Škálovanie založené na scenári: Pre rôzne scenáre, ako sú špičkové hodiny alebo konkrétne udalosti, môžete predkonať pravidlá škálovania, aby ste predvídali zvýšený dopyt. Tento proaktívny prístup zaisťuje, že model je primerane zabezpečený, aby zvládol očakávané špičky v premávke.
Implementácia na platformách
-Amazon Sagemaker: Ponúka vopred vytvorené pracovné toky doladenia a podporuje automatické rozsahy pre modely Deepseek-R1. Na zjednodušenie procesov prispôsobenia a škálovania modelu môžete použiť recepty SagEmaker HyperPod [5] [7].
- Spoločne AI: poskytuje možnosť nasadenia bez serverov pre DeepSeek-R1, ktorá vo svojej podstate podporuje dynamické škálovanie na základe objemu požiadaviek. Konkrétne prispôsobenie pre rôzne typy požiadaviek však môže vyžadovať ďalšie nastavenie alebo integráciu s vlastnou logikou [2].
Záver
Aj keď sú schopnosti automatického rozsahu Deepseek-R1 robustné, najmä na platformách, ako je Sagemaker, prispôsobenie týchto schopností pre rôzne typy požiadaviek alebo scenárov môže vyžadovať ďalšie nastavenie alebo integráciu s vlastnou logikou. Zahŕňa to využitie funkcií platformy na rozlíšenie medzi typmi žiadostí alebo scenármi a podľa toho konfigurácia pravidiel škálovania.
Citácie:
[1] https://www.datacamp.com/tutorial/fine-tuning-deepseek-r1-reasoning-model
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-deploying-deepseek-r1-locally-with-a-casty-custom-rag-custwledge-nata-base
[4] https://www.kdnuggets.com/how-to-fine-tune-deepseek-r1-custom-tataset
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-for-tgi-on-on-amazon-sagemaker-ai/
[6] https://www.endorlabs.com/learn/deepseek-r1-what-security-teams-need-to-not-ink?42a57130_page=2
[7] https://aws.amazon.com/blogs/machine-learning/customize-deepseek-r1-distille-models-using-using-amazon-sagemaker-hyperpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-offers-deepseek-r1-as-flute-managed-serverless-model-remends-guardrails.aspx