Automatické měřítko s DeepSeek-R1 lze přizpůsobit pro zpracování různých typů požadavků nebo scénářů, zejména při nasazení na platformách, jako je Amazon SageMaker. Koncové body SageMaker podporují automatické měřítko, což umožňuje DeepSeek-R1 horizontálně na základě objemu přicházejícího požadavku. To znamená, že model může dynamicky upravit své zdroje tak, aby spravoval různé zatížení, což zajišťuje efektivní výkon za různých podmínek.
Přizpůsobení automatického scalingu
1. Žádost Svazek: Automatické měřítko může být spuštěno na základě objemu příchozích požadavků. Například, pokud model zpracovává velké množství dotazů současně, může se automaticky rozšířit, aby se zajistilo, že všechny požadavky budou zpracovány okamžitě bez ohrožení výkonu.
2. Typ žádosti: Zatímco konkrétní přizpůsobení automatického škálování na základě typu požadavku (např. Komplexní úkoly zdobení vs. jednoduchých dotazů) nemusí být přímo podporováno, můžete implementovat vlastní logiku pro rozlišování mezi typy požadavků. To by mohlo zahrnovat nastavení samostatných koncových bodů nebo front pro různé typy požadavků, z nichž každá má vlastní pravidla škálování.
3. měřítko založené na scénářích: Pro různé scénáře, jako jsou špičkové hodiny nebo konkrétní události, můžete před konfiguračním škálováním pravidla předvídat zvýšenou poptávku. Tento proaktivní přístup zajišťuje, že model je přiměřeně zajištěn, aby zvládl očekávané hroty v provozu.
Implementace na platformách
-Amazon SageMaker: Nabízí předem vytvořené jemné doladění a podporuje automatické měřítko pro destilované modely DeepSeek-R1. Recepty SAGEMaker HyperPod můžete použít k zjednodušení procesů přizpůsobení modelu a škálování [5] [7].
- Společně AI: Poskytuje možnost nasazení bez serveru pro DeepSeek-R1, která neodmyslitelně podporuje dynamické škálování na základě objemu požadavku. Specifické přizpůsobení pro různé typy požadavků však může vyžadovat další nastavení nebo integraci s vlastní logikou [2].
Závěr
Zatímco schopnosti automatického měřítka DeepSeek-R1 jsou robustní, zejména na platformách, jako je SageMaker, přizpůsobení těchto schopností pro různé typy požadavků nebo scénářů může vyžadovat další nastavení nebo integraci s vlastní logikou. To zahrnuje využití funkcí platformy pro rozlišování mezi typy požadavků nebo scénáři a podle toho konfigurace pravidel škálování.
Citace:
[1] https://www.datacamp.com/Tutorial/fine-tuning-deepseek-r1-leasoning-model
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-deploy --eeepseek-r1-locally-a--custom-rag-znalledge-dat-base
[4] https://www.kdnuggets.com/how-to-tune-deeepseek-r1-nustom-dataset
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-face-tgi-on-amazon-sagemaker-ai/
[6] https://www.endorlabs.com/learn/deepseek-r1-what-security-teams-need-to-know?42a57130_page=2
[7] https://aws.amazon.com/blogs/machine-learning/customize-deepseek-r1-distilled-using-using-amazon-sagemaker-syperpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-sters-deeepseek-r1-as-pented-serverless-model-recomings-guardrails.aspx