A DeepSeek-R1 hatékony futtatásához az AWS-en a megfelelő példánytípusok kiválasztását kell választani az adott modellváltozat és a kívánt teljesítmény alapján. Íme egy részletes áttekintés az ajánlott AWS példányokról a különböző DeepSeek-R1 modellekhez:
DeepSeek-R1 (teljes modell)
A teljes DeepSeek-R1 modell, 671 milliárd paraméterrel, jelentős számítási forrásokat igényel. Az optimális teljesítmény érdekében több GPU-beállítást ajánlunk, például az NVIDIA A100 GPU-t. Az AWS azonban nem kínál közvetlenül az A100 GPU -t a szokásos EC2 példányaiban. Ehelyett fontolóra veheti olyan példányokat, mint az „Inf2.48xlarge” hasonló nagy teljesítményű számítástechnikai igényekhez, bár ezek jobban megfelelnek a következtetésgyorsulásnak, nem pedig a nagy modellek kiképzéséhez, mint például a DeepSeek-R1 [4].DeepSeek-R1 desztillált modellek
A DeepSeek-R1 desztillált verzióihoz, amelyek hatékonyabbak és kevesebb VRAM-t igényelnek, különféle AWS példányok használhatók:-DeepSeek-R1-Distill-QWEN-1.5B: Ez a modell hatékonyan futtatható egyetlen GPU-példányon. Az `ml.g5.xlarge` példány ajánlott ennek a modellnek a teljesítménymutatók miatt történő tárolására [3].
-A DeepSeek-R1-Distill-QWEN-7B és a DeepSeek-R1-Distill-LLAMA-8B: Ezek a modellek jól teljesítenek olyan példányokban, mint a `ml.g6e.xlarge", amely jó egyensúlyt kínál a GPU energiájának és költségeinek. Az `ml.g5.2xlarge` és a„ ml.g5.xlarge ”példányok szintén életképes lehetőségek [3].
-DeepSeek-R1-Distill-QWEN-14B: Ehhez a modellhez egy erősebb GPU-val rendelkező példányra van szükség. A „G4DN.Xlarge” példány, amely az NVIDIA T4 GPU -t tartalmazza, valószínűleg nem elegendő a VRAM korlátozásai miatt. Ehelyett fontolja meg a példányok használatát olyan erősebb GPU-kkal, mint például a `ml.g6` családban, vagy ha rendelkezésre áll egy egyedi beállítást, ha rendelkezésre áll [1] [2].
-A DeepSeek-R1-Distill-QWEN-32B és a DeepSeek-R1-Distill-LLAMA-70B: Ezeknek a nagyobb modelleknek még erősebb GPU-kat igényelnek. Az optimális teljesítmény érdekében a csúcskategóriás GPU-kkal rendelkező példányok, mint például az NVIDIA RTX 4090, ajánlott, bár az ilyen specifikus GPU-k nem állnak rendelkezésre közvetlenül a standard AWS EC2 példányokban. Használhatja azonban olyan példányokat, mint az „Inf2.48xlarge” a nagy teljesítményű következtetési feladatokhoz [4] [6].
CPU-alapú telepítés
A kötegelt feldolgozási feladatokhoz, ahol a késés nem kritikus tényező, az AWS Graviton4 alapú példányok költséghatékony megoldást kínálhatnak. A „C8G.16xlarge” példány, a magas magszámlájú és memória sávszélességgel, alkalmas olyan modellek futtatására, mint a DeepSeek-R1-Distill-LLAMA-70B, csak a CPU környezetben [6].Teljesen kezelt megoldások
Azok a felhasználók számára, akik inkább nem kezelik az infrastruktúrát, a DeepSeek-R1 teljesen kezelt szerver nélküli modellként is elérhető az Amazon alapkőzetben. Ez az opció lehetővé teszi a modell képességeinek kihasználását anélkül, hogy aggódna az alapvető infrastruktúra komplexitások miatt [9].Összefoglalva: az AWS-példány megválasztása a DeepSeek-R1 hatékony futtatásához az adott modellváltozástól, a szükséges teljesítményszinttől és a GPU gyorsulásától függ. A legtöbb desztillált modell esetében az erős GPU-kkal rendelkező példányok ajánlottak, míg a CPU-alapú példányok alkalmasak lehetnek a kötegelt feldolgozási feladatokhoz.
Idézetek:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-fathin-in-ws-graviton4?lang=en?
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a----manged-serverless-model-in-amazon-bedrock/