Das effiziente Ausführen von Deepseek-R1 auf AWS erfordert die Auswahl der richtigen Instanztypen basierend auf der spezifischen Modellvariante und der gewünschten Leistung. Hier finden Sie einen detaillierten Überblick über die empfohlenen AWS-Instanzen für verschiedene Deepseek-R1-Modelle:
Deepseek-R1 (Vollmodell)
Das vollständige Deepseek-R1-Modell mit 671 Milliarden Parametern erfordert erhebliche Rechenressourcen. Für eine optimale Leistung wird ein Multi-GPU-Setup empfohlen, z. B. die Verwendung von NVIDIA A100 GPUs. AWS bietet jedoch in seinen Standard -EC2 -Instanzen keinen A100 -GPUs an. Stattdessen können Sie in Betracht ziehen, Instanzen wie "Inf2.48xLarge" für ähnliche leistungsstarke Computerbedürfnisse zu verwenden, obwohl diese eher für die Beschleunigung der Inferenz geeignet sind als große Modelle wie Deepseek-R1 [4].Deepseek-R1 Destillierte Modelle
Für die destillierten Versionen von Deepseek-R1, die effizienter sind und weniger VRAM erfordern, können verschiedene AWS-Instanzen verwendet werden:-Deepseek-R1-Distill-Qwen-1.5b: Dieses Modell kann effizient auf einer einzelnen GPU-Instanz ausgeführt werden. Die Instanz von `ml.g5.xlarge` wird aufgrund seiner Leistungsmetriken empfohlen, um dieses Modell zu hosten [3].
. Die Instanzen von `ml.g5.2xlarge` und` ml.g5.xlarge` sind ebenfalls praktikable Optionen [3].
-Deepseek-R1-Distill-Qwen-14b: Für dieses Modell ist eine Instanz mit einer leistungsstärkeren GPU erforderlich. Die Instanz von `g4dn.xlarge`, die Nvidia T4 GPUs enthält, reicht aufgrund seiner VRAM -Einschränkungen möglicherweise nicht aus. Erwägen Sie stattdessen Instanzen mit leistungsstärkeren GPUs wie in der Familie "ml.g6" oder für ein benutzerdefiniertes Setup mit High-End-GPUs, falls verfügbar [1] [2].
-Deepseek-R1-Distill-Qwen-32B und Deepseek-R1-Distill-Llama-70b: Diese größeren Modelle erfordern noch leistungsstärkere GPUs. Für eine optimale Leistung werden Fälle mit High-End-GPUs wie NVIDIA RTX 4090 empfohlen, obwohl solche spezifischen GPUs in Standard-AWS-EC2-Instanzen nicht direkt verfügbar sind. Sie können jedoch Instanzen wie "Inf2.48xLarge" für Hochleistungs-Inferenzaufgaben verwenden [4] [6].
CPU-basierte Bereitstellung
Bei Stapelverarbeitungsaufgaben, bei denen Latenz kein kritischer Faktor ist, können AWS Graviton4-basierte Instanzen eine kostengünstige Lösung bieten. Die Instanz von `C8G.16xlarge` mit seiner hohen Kernzähl- und Speicherbandbreite eignet sich zum Ausführen von Modellen wie Deepseek-R1-Distill-Llama-70b in einer CPU-Umgebung [6].Vollbezogene Lösungen
Für Benutzer, die es vorziehen, die Infrastruktur nicht zu verwalten, ist Deepseek-R1 auch als vollständig verwaltetes serverloses Modell im Amazon-Grundgestein verfügbar. Mit dieser Option können Sie die Funktionen des Modells nutzen, ohne sich um die zugrunde liegenden Komplexität der Infrastruktur zu kümmern [9].Zusammenfassend hängt die Auswahl der AWS-Instanz für das Ausführen von Deepseek-R1 effizient von der spezifischen Modellvariante, der erforderlichen Leistungsniveau und der erforderlichen GPU-Beschleunigung ab. Für die meisten destillierten Modelle werden Instanzen mit leistungsstarker GPUs empfohlen, während CPU-basierte Instanzen für Stapelverarbeitungsaufgaben geeignet sein können.
Zitate:
[1] https://community.aws/content/2seuHqlpyifswckzmx585jcksgn/deploying-yepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-ployment-hardware-requirements-3mf8
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-teek-r1-distillieren-models-with-hugging-tgi-on-amazon-sagemaker-ai/
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-ployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-lama-70b-for-batch-inference-on --aws-graviton4?lang=en
[7] https://aws.amazon.com/blogs/machine-learning/deploy-yepseek-r1-distillieren-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[8] https://www.reddit.com/r/localllm/comportment/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-aful-managed-serverless-model-amazon-bedrock/