DeepSEEK-R1 efektīvai darbībai AWS ir jāizvēlas pareizie instanču tipi, pamatojoties uz konkrēto modeļa variantu un vēlamo veiktspēju. Šeit ir detalizēts pārskats par ieteicamajiem AWS gadījumiem dažādiem DeepSEEK-R1 modeļiem:
DeepSeek-R1 (pilns modelis)
Pilnam DeepSEEK-R1 modelim ar 671 miljardu parametru ir nepieciešami ievērojami skaitļošanas resursi. Optimālai veiktspējai ieteicams izmantot vairāku GPU iestatīšanu, piemēram, izmantojot NVIDIA A100 GPU. Tomēr AWS standarta EC2 gadījumos tieši nepiedāvā A100 GPU. Tā vietā jūs varat apsvērt iespēju izmantot tādus gadījumus kā `INF2.48xlarge` līdzīgām augstas veiktspējas skaitļošanas vajadzībām, lai gan tās ir vairāk piemērotas secinājumu paātrinājumam, nevis lieliem modeļiem, piemēram, DeepSeek-R1 [4].Deepseek-R1 destilētie modeļi
DeepSEEK-R1 destilētām versijām, kas ir efektīvākas un prasa mazāk VRAM, var izmantot dažādus AWS gadījumus:-DeepSeek-R1-Distill-Qwen-1.5b: Šo modeli var efektīvi palaist vienā GPU instancē. Šī modeļa mitināšanai, ņemot vērā tā veiktspējas rādītāju, ir ieteicams `ml.g5.xlarge` gadījums [3].
-DeepSeek-R1-Distill-Qwen-7b un DeepSeek-R1-Distill-Llama-8B: Šie modeļi labi darbojas tādos gadījumos kā `ml.g6e.xlarge`, kas piedāvā labu GPU jaudas un izmaksu līdzsvaru. `Ml.g5.2xlarge` un` ml.g5.xlarge` gadījumi ir arī reālas iespējas [3].
-DeepSeek-R1-Distill-Qwen-14b: šim modelim ir nepieciešams gadījums ar jaudīgāku GPU. G4dn.xlarge` gadījums, kurā ir NVIDIA T4 GPU, varētu nebūt pietiekams tā VRAM ierobežojumu dēļ. Tā vietā apsveriet iespēju izmantot gadījumus ar jaudīgākiem GPU, piemēram, `ml.g6` ģimenē vai izvēloties pielāgotu iestatījumu ar augstākas klases GPU, ja tas ir pieejams [1] [2].
-DeepSEEK-R1-Distill-Qwen-32b un DeepSeek-R1-Distill-Llama-70b: Šiem lielākiem modeļiem ir nepieciešami vēl jaudīgāki GPU. Optimālai veiktspējai ir ieteicami gadījumi ar augstas klases GPU, piemēram, NVIDIA RTX 4090, lai gan šādi specifiski GPU nav tieši pieejami standarta AWS EC2 gadījumos. Tomēr augstas veiktspējas secinājumu uzdevumiem varat izmantot tādus gadījumus kā `INF2.48xlarge` [4] [6].
CPU balstīta izvietošana
Partijas apstrādes uzdevumiem, kur latentums nav kritisks faktors, AWS Graviton4 bāzes gadījumi var piedāvāt rentablu risinājumu. C8g.16xlarge` gadījums ar tā augsto kodolu skaitu un atmiņas joslas platumu ir piemērots tādiem modeļiem kā DeepSeek-R1-Distill-Llama-70b vidē, kas paredzēts tikai CPU [6].pilnībā pārvaldīti risinājumi
Lietotājiem, kuri nevēlas pārvaldīt infrastruktūru, DeepSEEK-R1 ir pieejams arī kā pilnībā pārvaldīts bez servera modelis Amazon Bedrock. Šī opcija ļauj izmantot modeļa iespējas, neuztraucoties par infrastruktūras sarežģītību [9].Rezumējot, AWS gadījuma izvēle DeepSEEK-R1 darbībai efektīvi ir atkarīga no īpašā modeļa varianta, nepieciešamā veiktspējas līmeņa un no tā, vai ir nepieciešams GPU paātrinājums. Lielākajai daļai destilēto modeļu ieteicams gadījumi ar jaudīgiem GPU, savukārt CPU balstīti gadījumi var būt piemēroti partijas apstrādes uzdevumiem.
Atsauces:
[1.]
.
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-depseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-izvietojums-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-depseek-r1-distill-llama-70b-for--patch-inerence-on-onws-graviton4?lang=enen
.
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-Avable-as-a-ly-managed-serverless-model-in-amazon-bedrock/