Når du distribuerer DeepSeek-R1 på AWS, er lagringskravene ikke eksplisitt detaljert når det gjelder spesifikke AWS-lagringstjenester. Selve modellen krever imidlertid betydelig lagringsplass for vekten. For eksempel har Full DeepSeek-R1-modellen opprinnelig et fotavtrykk på rundt 720 GB, selv om optimaliseringer kan redusere denne størrelsen betydelig, for eksempel ned til 131 GB gjennom kvantisering og kompresjonsteknikker [3].
For AWS -distribusjoner må du vanligvis vurdere følgende aspekter:
1. Modelllagring: Modellvektene må lagres på et sted tilgjengelig i AWS -forekomstene dine. Dette kan være i en S3 -bøtte, som ofte brukes til å lagre store datasett og modellfiler. Kostnaden for å lagre modellen i S3 avhenger av regionen og lagringsklassen som brukes (f.eks. Standard, standard-IA, One Zone-IA, etc.).
2. Forekomstlagring: Når du kjører modellen på EC2 -forekomster, trenger du tilstrekkelig lagring for operativsystemet, eventuell tilleggsprogramvare som kreves, og potensielt midlertidig lagring for modellutganger eller mellomresultater. Denne lagringen er vanligvis levert av forekomstenens rotvolum eller ytterligere EBS -volumer.
3. Datalagring for inferens: Hvis du bruker modellen for inferensoppgaver, kan det hende du trenger ytterligere lagring for inndata og utgangsresultater. Dette kan også administreres gjennom S3 eller andre AWS -lagringstjenester som EBS eller Instance Store Volumes.
Når det gjelder spesifikke AWS -tjenester, brukes Amazon S3 ofte til å lagre modellvekter på grunn av dens skalerbarhet og pålitelighet. For å kjøre modellen brukes Amazon EC2 -forekomster ofte, med lagringsbehov avhengig av forekomsttype og konfigurasjon. For storskala distribusjoner kan Amazon Sagemaker også brukes, noe som gir et administrert miljø for maskinlæringsoppgaver, inkludert modelllagring og inferens.
For kostnadshensyn avhenger lagringskostnadene i AWS av de spesifikke tjenestene som brukes. For eksempel varierer S3 -lagringskostnader basert på lagringsklasse og region, mens EC2 -forekomstkostnader inkluderer både beregnings- og lagringskomponenter. I tillegg kan bruk av tjenester som Sagemaker forenkle styringen av disse kostnadene ved å tilby et administrert miljø for ML -oppgaver.
Sitasjoner:
[1] https://dev.to/askyt/deepseek-r1-arkitecture-training-local deployment-andware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-azon-sagemaker-dings-a-a-large-modell-inferens-container/
[5] https://www.aboutamazon.com/news/aws/aws-depseek-r1-ly-styred-generally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-slosting-depseek-r1-distilled-models-with-hugging- face-tgi-on-azon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-depseek-r1-distilled-lama-models-with-azon-bedrock-custom-modell-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-depseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-edseek-r1-14b-on-azon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-fyly-styred-serverless-model-in-azon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-depseek-r1-on-vogn-cloud-desktops