Izvietojot DeepSEEK-R1 AWS, uzglabāšanas prasības nav skaidri detalizētas attiecībā uz īpašiem AWS glabāšanas pakalpojumiem. Tomēr pašam modelim ir nepieciešama ievērojama uzglabāšanas vieta tā svaram. Piemēram, pilna DeepSEEK-R1 modelim sākotnēji pēda ir aptuveni 720 GB, lai gan optimizācijas var ievērojami samazināt šo izmēru, piemēram, līdz 131 GB, izmantojot kvantēšanas un saspiešanas metodes [3].
AWS izvietošanai jums parasti jāņem vērā šādi aspekti:
1. Modeļa uzglabāšana: modeļa svars jāuzglabā vietā, kas pieejama jūsu AWS gadījumiem. Tas varētu būt S3 kausā, ko parasti izmanto lielu datu kopu un modeļa failu saglabāšanai. Modeļa uzglabāšanas izmaksas S3 ir atkarīgas no izmantotā reģiona un uzglabāšanas klases (piemēram, standarta, standarta IA, viena IA zona utt.).
2. Instanču krātuve: Palaižot modeli EC2 gadījumos, jums būs nepieciešama pietiekama operētājsistēmas krātuve, jebkura nepieciešamā papildu programmatūra un potenciāli pagaidu uzglabāšana modeļa izejām vai starpposma rezultātiem. Šo krātuvi parasti nodrošina gadījuma saknes tilpums vai papildu EBS sējumi.
3. Datu glabāšana secinājumiem: ja jūs izmantojat modeli secinājumu uzdevumiem, jums, iespējams, būs nepieciešama papildu glabāšana ievades datiem un izvades rezultātiem. To varētu pārvaldīt arī caur S3 vai citiem AWS glabāšanas pakalpojumiem, piemēram, EBS vai instanču veikala apjomiem.
Runājot par īpašiem AWS pakalpojumiem, Amazon S3 bieži izmanto modeļa svaru glabāšanai, ņemot vērā tā mērogojamību un uzticamību. Modeļa palaišanai parasti tiek izmantoti Amazon EC2 gadījumi, un atmiņas vajadzības ir atkarīgas no gadījuma veida un konfigurācijas. Liela mēroga izvietošanai var izmantot arī Amazon Sagemaker, kas nodrošina pārvaldītu vidi mašīnmācīšanās uzdevumiem, ieskaitot modeļa glabāšanu un secinājumus.
Izmaksu apsvērumu dēļ AWS glabāšanas izmaksas ir atkarīgas no konkrētajiem izmantotajiem pakalpojumiem. Piemēram, S3 uzglabāšanas izmaksas mainās atkarībā no glabāšanas klases un reģiona, savukārt EC2 instanču izmaksas ietver gan aprēķinu, gan uzglabāšanas komponentus. Turklāt tādu pakalpojumu izmantošana kā Sagemaker var vienkāršot šo izmaksu pārvaldību, nodrošinot pārvaldītu vidi ML uzdevumiem.
Atsauces:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-dreplation-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
.
[5] https://www.aboutamazon.com/news/aws/aws-depseek-r1
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-depseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
.
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leverage-depseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-depseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-Avable-as-a-ly-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-stunning-depseek-r1-on-vagon-cloud-desktops