Når du implementerer DeepSeek-R1 på AWS, er lagringskravene ikke eksplicit detaljeret med hensyn til specifikke AWS-lagertjenester. Imidlertid kræver selve modellen betydelig lagerplads for dens vægte. F.eks. Har den fulde DeepSeek-R1-model oprindeligt et fodaftryk på ca. 720 GB, skønt optimeringer kan reducere denne størrelse markant, såsom ned til 131 GB gennem kvantiserings- og komprimeringsteknikker [3].
For AWS -implementeringer skal du typisk overveje følgende aspekter:
1. Modelopbevaring: Modelvægtene skal opbevares på et sted, der er tilgængeligt ved dine AWS -forekomster. Dette kan være i en S3 -spand, der ofte bruges til at gemme store datasæt og modelfiler. Omkostningerne ved opbevaring af modellen i S3 afhænger af regionen og den anvendte lagringsklasse (f.eks. Standard, standard-IA, en ZONE-IA osv.).
2. instansopbevaring: Når du kører modellen på EC2 -forekomster, har du brug for tilstrækkelig lagring til operativsystemet, enhver yderligere software, der kræves og potentielt midlertidig opbevaring til modeludgange eller mellemresultater. Denne opbevaring leveres typisk af forekomstens rodvolumen eller yderligere EBS -volumener.
3. datalagring til inferens: Hvis du bruger modellen til inferensopgaver, har du muligvis brug for yderligere lagring til inputdata og output -resultater. Dette kan også styres gennem S3 eller andre AWS -opbevaringstjenester som EBS eller forekomstbutikvolumener.
Med hensyn til specifikke AWS -tjenester bruges Amazon S3 ofte til opbevaring af modelvægte på grund af dens skalerbarhed og pålidelighed. Til kørsel af modellen bruges Amazon EC2 -forekomster ofte med lagerbehov afhængigt af forekomsttypen og konfigurationen. Til storstilet implementeringer kan Amazon Sagemaker også bruges, hvilket giver et styret miljø til maskinlæringsopgaver, herunder modelopbevaring og inferens.
For omkostningsovervejelser afhænger opbevaringsomkostningerne i AWS af de anvendte specifikke tjenester. F.eks. Varierer S3 -lagringsomkostninger baseret på lagringsklassen og regionen, mens EC2 -forekomstomkostninger inkluderer både beregnings- og lagerkomponenter. Derudover kan brug af tjenester som Sagemaker forenkle styringen af disse omkostninger ved at tilvejebringe et styret miljø til ML -opgaver.
Citater:
)
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_localt_on_your_device/
)
)
)
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-Destilled-LLAMA-Models-med-Amazon-Bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-ws?lang=en
)
)
[11] https://vagon.io/blog/a-tep-by-trep-guide-to-running-deepseek-r1-on-vagon-cloud-desktops