Atunci când implementați DeepSeek-R1 pe AWS, cerințele de stocare nu sunt detaliate în mod explicit în ceea ce privește serviciile specifice de stocare AWS. Cu toate acestea, modelul în sine necesită un spațiu semnificativ de stocare pentru greutățile sale. De exemplu, modelul complet DeepSeek-R1 are inițial o amprentă de aproximativ 720 GB, deși optimizările pot reduce semnificativ această dimensiune, cum ar fi până la 131 GB prin tehnici de cuantificare și compresie [3].
Pentru implementările AWS, de obicei trebuie să luați în considerare următoarele aspecte:
1. Stocare model: Greutățile modelului trebuie să fie stocate într -o locație accesibilă de instanțele dvs. AWS. Acest lucru ar putea fi într -o găleată S3, care este utilizată în mod obișnuit pentru stocarea seturilor de date mari și a fișierelor model. Costul stocării modelului în S3 depinde de regiune și de clasa de stocare utilizată (de exemplu, standard, standard-IA, o zonă-IA, etc.).
2. Stocare instanțe: Când rulați modelul pe instanțele EC2, veți avea nevoie de stocare suficientă pentru sistemul de operare, orice software suplimentar necesar și stocare potențial temporară pentru ieșirile modelului sau rezultatele intermediare. Acest stocare este de obicei furnizat de volumul rădăcinii instanței sau de volumele suplimentare EBS.
3. Stocare date pentru inferență: Dacă utilizați modelul pentru sarcini de inferență, este posibil să aveți nevoie de stocare suplimentară pentru datele de intrare și rezultatele ieșirii. Acest lucru ar putea fi, de asemenea, gestionat prin S3 sau alte servicii de stocare AWS, cum ar fi EBS sau volumele de magazin de instanțe.
În ceea ce privește serviciile specifice AWS, Amazon S3 este adesea utilizat pentru stocarea greutăților modelului datorită scalabilității și fiabilității sale. Pentru rularea modelului, instanțele Amazon EC2 sunt utilizate în mod obișnuit, nevoile de stocare în funcție de tipul de instanță și configurație. Pentru implementări la scară largă, Amazon Sagemaker poate fi, de asemenea, utilizat, ceea ce oferă un mediu gestionat pentru sarcini de învățare automată, inclusiv stocarea modelului și inferența.
Pentru considerente de costuri, costurile de stocare în AWS depind de serviciile specifice utilizate. De exemplu, costurile de stocare S3 variază în funcție de clasa de stocare și regiune, în timp ce costurile de instanță EC2 includ atât componente de calcul, cât și de stocare. În plus, utilizarea de servicii precum Sagemaker poate simplifica gestionarea acestor costuri prin furnizarea unui mediu gestionat pentru sarcinile ML.
Citări:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-quirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
]
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-ful-fully-managed-general-adable
]
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distille-lama-models-with-amazon-bdrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-fully-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-tep-by-tep-guide-to-urning-deepseek-r1-on-vagon-cloud-desktops