Při nasazení DeepSeek-R1 na AWS nejsou požadavky na úložiště výslovně podrobně popsány z hlediska konkrétních služeb úložiště AWS. Samotný model však pro své hmotnosti vyžaduje významný úložný prostor. Například plný model DeepSeek-R1 má původně stopu asi 720 GB, i když optimalizace může tuto velikost výrazně snížit, například na 131 GB pomocí kvantizace a kompresní techniky [3].
Pro nasazení AWS obvykle musíte zvážit následující aspekty:
1. Modelové úložiště: Hmotnosti modelu musí být uloženy na místě přístupné vaší instance AWS. To by mohlo být v kbelíku S3, který se běžně používá pro ukládání velkých datových sad a modelových souborů. Náklady na skladování modelu v S3 závisí na regionu a použité úložné třídě (např. Standardní, standardní IA, jedna zóna IA atd.).
2. Ukládání instancí: Při spuštění modelu v instancích EC2 budete potřebovat dostatečné úložiště pro operační systém, jakýkoli požadovaný další software a potenciálně dočasné úložiště pro výstupy modelu nebo střední výsledky. Toto úložiště je obvykle poskytováno kořenovým objemem instance nebo dalšími objemy EBS.
3. Úložiště dat Pro závěr: Pokud používáte model pro inferenční úkoly, možná budete potřebovat další úložiště pro vstupní data a výsledky výstupu. To by mohlo být také spravováno prostřednictvím S3 nebo jiných úložných služeb AWS, jako jsou EBS nebo Objemy obchodu.
Pokud jde o specifické služby AWS, Amazon S3 se často používá pro ukládání hmotností modelu kvůli jeho škálovatelnosti a spolehlivosti. Pro spuštění modelu se běžně používají instance Amazon EC2, s potřebami úložiště v závislosti na typu a konfiguraci instance. Pro rozsáhlé nasazení lze také využít Amazon SageMaker, který poskytuje spravované prostředí pro úkoly strojového učení, včetně ukládání modelu a odvození.
Z hledisek nákladů závisí náklady na skladování v AWS na konkrétních použitých službách. Například náklady na skladování S3 se liší v závislosti na třídě úložiště a regionu, zatímco náklady na instance EC2 zahrnují komponenty výpočtu i skladování. Navíc využití služeb, jako je SageMaker, může zjednodušit správu těchto nákladů poskytnutím spravovaného prostředí pro úkoly ML.
Citace:
[1] https://dev.to/askyt/deepseek-r1-architecture-theining-local-deployment-and-hardware-Requirements-3MF8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseeKr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-container/
[5] https://www.abotamazon.com/news/aws/aws-deepseek-r1-dfuls-aged-generally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/QuhcixrtfsAsokh8gl-Kkoga/pricing-model-of-deeepseek-r1-distiled-llama-models-with-amazon---adrock--model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-plně-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to--deepseek-r1-on-vagon-cloud-desktops