Učinkovito vodenje Deepseek-R1 na AWS zahteva izbiro pravih vrst primerkov na podlagi posebne variante modela in želene zmogljivosti. Tu je podroben pregled priporočenih primerov AWS za različne modele Deepseek-R1:
Deepseek-R1 (celoten model)
Celoten model Deepseek-R1 s 671 milijardami parametrov zahteva znatne računske vire. Za optimalno zmogljivost je priporočljiva nastavitev z več GPU, na primer z uporabo NVIDIA A100 GPU-jev. Vendar AWS v svojih standardnih primerih EC2 ne ponuja neposredno A100 GPU -jev. Namesto tega lahko razmislite o uporabi primerov, kot je `inf2.48xlarge` za podobne visokozmogljive računalniške potrebe, čeprav so te bolj primerne za pospeševanje sklepanja in ne na usposabljanje velikih modelov, kot je Deepseek-R1 [4].destilirani modeli Deepseek-R1
Za destilirane različice Deepseek-R1, ki so učinkovitejše in zahtevajo manj VRAM, lahko uporabimo različne primere AWS:-Deepseek-R1-Distill-Qwen-1.5b: Ta model je mogoče učinkovito izvajati na enem samem primerku GPU. Primerek `ml.g5.xlarge` je priporočljiv za gostovanje tega modela zaradi svojih meritev uspešnosti [3].
-Deepseek-R1-Distill-Qwen-7b in Deepseek-R1-Distill-Llama-8b: Ti modeli delujejo dobro v primerih, kot je `ml.g6e.xlarge`, ki ponuja dobro ravnovesje GPU moči in stroškov. Primeri `ml.g5.2xlarge` in` ml.g5.xlarge` so tudi izvedljive možnosti [3].
-Deepseek-R1-Distill-Qwen-14b: Za ta model je potreben primerek z močnejšim GPU-jem. Primer `g4dn.xlarge`, ki ima Nvidia T4 GPU, morda ne bo zadostoval zaradi svojih omejitev VRAM. Namesto tega razmislite o uporabi primerov z močnejšimi GPU, kot so tisti v družini ml.g6`, ali se odločite za nastavitev po meri z GPU-ji višjega cenovnega razreda, če je na voljo [1] [2].
-Deepseek-R1-Distill-Qwen-32B in Deepseek-R1-Distill-Llama-70B: Ti večji modeli zahtevajo še močnejše GPU. Za optimalno delovanje so priporočljivi primeri z vrhunskimi GPU, kot je NVIDIA RTX 4090, čeprav takšni specifični GPU niso neposredno na voljo v standardnih primerkih AWS EC2. Vendar pa lahko za naloge z visoko zmogljivostjo sklepanja uporabite primere, kot je `inf2.48xlarge` [4] [6].
Uvajanje na osnovi CPU-ja
Za naloge za obdelavo paketov, pri katerih zamuda ni ključni dejavnik, lahko primeri AWS Graviton4 ponudijo stroškovno učinkovito rešitev. Primerek `c8g.16xlarge` s svojim visokim jedrnim številom in pasovno širino pomnilnika je primeren za izvajanje modelov, kot je Deepseek-R1-Distill-Llama-70B v okolju samo za CPU [6].Popolnoma upravljane rešitve
Za uporabnike, ki raje ne upravljajo z infrastrukturo, je Deepseek-R1 na voljo tudi kot popolnoma upravljan model brez strežnika v Amazon Bedrock. Ta možnost vam omogoča, da izkoristite zmogljivosti modela, ne da bi skrbeli za osnovne zapletenosti infrastrukture [9].Če povzamemo, je izbira primerka AWS za delovanje Deepseek-R1 učinkovito odvisna od posebne variante modela, potrebne ravni uspešnosti in od tega, ali je pospeševanje GPU potrebno. Pri večini destiliranih modelov priporočamo primere z močnimi GPU-ji, medtem ko so primerki na osnovi CPU-ja primerni za naloge za obdelavo paketov.
Navedbe:
[1] https://community.aws/content/2seuhqlpyifswkzmx585Jcksgn/deploy-deepseek-r1-14b-on-amazon-ec2 ?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-raining-docal-deployment-and-hardware-requirements-3mf8
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-Complete-hardware-requirements-optimal-Deployment-setup-2e48
[6] https://community.aws/content/2rHrji6cxBa1ib5f3tjsfPadpxs/Deploy-reepseek-r1-distill-llama-70b-za-batch-in--aws-graviton4?lang=sl
[7] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-flue-managed-serverless-model-in-amazon-bedrock/