Pri uporabi Deepseek-R1 na AWS zahteve po shranjevanju niso izrecno podrobne v smislu posebnih storitev za shranjevanje AWS. Vendar sam model potrebuje pomemben prostor za shranjevanje za svoje uteži. Na primer, model Full Deepseek-R1 ima prvotno odtis približno 720 GB, čeprav optimizacije lahko to velikost znatno zmanjšajo, na primer na 131 GB s tehnikami kvantizacije in stiskanja [3].
Za uvajanje AWS morate običajno upoštevati naslednje vidike:
1. shranjevanje modela: Uteži modela je treba shraniti na lokaciji, ki je dostopna vašim primerom AWS. To je lahko v vedri S3, ki se običajno uporablja za shranjevanje velikih naborov podatkov in modelnih datotek. Stroški shranjevanja modela v S3 so odvisni od regije in uporabljenega pomnilniškega razreda (npr. Standard, Standard-IA, One cone-IA itd.).
2. Shranjevanje primerov: Ko zaženete model v primerkih EC2, boste potrebovali dovolj pomnilnika za operacijski sistem, kakršno koli dodatno potrebno programsko opremo in potencialno začasno shranjevanje za izhode modela ali vmesne rezultate. To shranjevanje običajno zagotavlja koreninska volumen primerka ali dodatni zvezki EBS.
3. Shranjevanje podatkov za sklepanje: Če model za naloge sklepanja uporabljate, boste morda potrebovali dodatno shranjevanje za vhodne podatke in izhodne rezultate. To bi lahko upravljali tudi prek S3 ali drugih storitev za shranjevanje AWS, kot so EBS ali prostornine primerkov.
Glede na posebne storitve AWS se Amazon S3 pogosto uporablja za shranjevanje uteži modelov zaradi svoje razširljivosti in zanesljivosti. Za zagon modela se običajno uporabljajo primerki Amazon EC2, pri čemer so potrebe po shranjevanju, odvisno od vrste primerka in konfiguracije. Za obsežne uvajanja je mogoče uporabiti tudi Amazon SageMaker, ki zagotavlja upravljano okolje za naloge strojnega učenja, vključno s shranjevanjem modelov in sklepanjem.
Za stroške so stroški skladiščenja v AWS odvisni od določenih uporabljenih storitev. Na primer, stroški skladiščenja S3 se razlikujejo glede na razred skladiščenja in regije, medtem ko stroški primerka EC2 vključujejo tako računalniške kot skladiščne komponente. Poleg tega lahko uporaba storitev, kot je SageMaker, poenostavi upravljanje teh stroškov z zagotavljanjem upravljanega okolja za naloge ML.
Navedbe:
[1] https://dev.to/askyt/deepseek-r1-architecture-raining-docal-deployment-in-Hardware-Requirements-3mf8
[2] https://www.byteplus.com/sl/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fly-maged-generally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu--hcixrtfsasokh8gl-koga/pricing-model-of-deepseek--distilled-llama-models--amazon-bedrock-custom-model-Import
[8] https://community.aws/content/2Z6DLAOHX12YUNOEAS7QB5YTH0Q/Leverating-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswkzmx585Jcksgn/deploy-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-flue-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-By-step-guide-to-Running-deepseek-r1-on-vagon-cloud-desktops