Diegdami „Deepseek-R1“ AWS, saugojimo reikalavimai nėra aiškiai išsamūs atsižvelgiant į konkrečias AWS saugojimo paslaugas. Tačiau pats modelis savo svoriui reikalauja reikšmingos vietos. Pavyzdžiui, pilname „Deepseek-R1“ modelyje iš pradžių yra maždaug 720 GB pėdsakas, nors optimizavimas gali žymiai sumažinti šį dydį, pavyzdžiui, iki 131 GB, naudojant kvantizavimo ir suspaudimo metodus [3].
Diegimui AWS paprastai reikia atsižvelgti į šiuos aspektus:
1. Modelio saugykla: modelio svorius reikia laikyti vietoje, kurią pasiekia jūsų AWS egzemplioriai. Tai gali būti S3 kibire, kuris dažniausiai naudojamas dideliems duomenų rinkiniams ir modeliams saugoti. Modelio saugojimo S3 išlaidos priklauso nuo naudojamos regiono ir naudojamos saugojimo klasės (pvz., Standartinė, standartinė-IA, viena zona-IA ir kt.).
2. Egzempliorių saugykla: paleidžiant modelį EC2 egzemplioriais, jums reikės pakankamai saugyklos operacinei sistemai, bet kokią papildomą reikalingą programinę įrangą ir potencialiai laikiną saugyklą modelio išėjimams ar tarpiniams rezultatams. Šią saugyklą paprastai teikia egzemplioriaus šaknies tūris arba papildomi EBS tūriai.
3. Duomenų saugojimas išvadoms: Jei išvadų užduotims naudojate modelį, jums gali prireikti papildomos saugyklos įvesties duomenims ir išvesties rezultatams. Tai taip pat galėtų būti valdoma naudojant S3 ar kitas AWS saugojimo paslaugas, tokias kaip „EBS“ ar „Instance Store“ tomai.
Kalbant apie konkrečias AWS paslaugas, „Amazon S3“ dažnai naudojamas modelio svoriams saugoti dėl jo mastelio ir patikimumo. Modelio paleidimui dažniausiai naudojami „Amazon EC2“ egzemplioriai, atsižvelgiant į saugojimo poreikius, atsižvelgiant į egzemplioriaus tipą ir konfigūraciją. Didelio masto diegimui taip pat galima naudoti „Amazon Sagemaker“, kuris suteikia valdomą aplinką mašininio mokymosi užduotims, įskaitant modelio saugojimą ir išvadą.
Dėl išlaidų svarstymo išlaidos AWS priklauso nuo konkrečių naudojamų paslaugų. Pavyzdžiui, S3 saugojimo išlaidos skiriasi atsižvelgiant į saugojimo klasę ir regioną, o EC2 egzempliorių išlaidos apima ir skaičiavimo, ir saugojimo komponentus. Be to, naudodamiesi tokiomis paslaugomis kaip „Sagemaker“, galite supaprastinti šių išlaidų valdymą teikdama valdomą aplinką ML užduotims.
Citatos:
[1] https://dev.to/askyt/deepseeek-r1-architcture-training-local-deployment-and-hardware-requirements-3Mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/depall-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ulpuls-langeage-generally-avleable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-on-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2Z6dlaoHx12yunoeas7qb5yth0q/leveraging-deepseek-on-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-avable-as-a-a-fulsy-ainage-serverless-model-in-mazon-bedrock/
[11] https://vagon.io/blog/a-sphe-sphe-puide-to-running-deepseek-r1-on-vagon-cloud-desktops