Die Überwachung und Bewertung der Leistung von Deepseek-R1 in AWS-GPU-Instanzen umfasst mehrere Schritte und Werkzeuge. Hier ist eine detaillierte Anleitung, wie es effektiv geht:
Überwachungstools und Metriken
Amazon CloudWatch
Amazon CloudWatch ist ein wichtiges Tool zur Überwachung der AWS -Ressourcen, einschließlich GPU -Instanzen. Es sammelt und verarbeitet Rohdaten in lesbare, in der Echtzeit-Metriken. Für GPU -Instanzen können Sie Metriken überwachen, wie z. B.:- GPU -Auslastung: Der Prozentsatz der derzeit verwendeten zugewiesenen GPUs.
- gpumemoryutilisation: Der Prozentsatz des verwendeten Gesamtspeichers GPU.
- CPUUTILISION: Der Prozentsatz der zugewiesenen EC2 -Recheneinheiten.
- MemoryUtilization: Der Prozentsatz des Speichers, der während der Stichprobenzeit verwendet wird.
Um GPU -Nutzungsmetriken zu ermöglichen, müssen Sie den CloudWatch -Agenten in Ihren Instanzen installieren und so konfigurieren, dass NVIDIA -GPU -Metriken [2] [8] sammelt.
Nvidia Metriken
Zusätzlich zu CloudWatch-Metriken können Sie den Befehl "nvidia-smi" verwenden, um die GPU-Leistung in Echtzeit zu überwachen. Dieser Befehl enthält detaillierte Informationen zur GPU -Auslastung, Speicherverwendung und Temperatur [5].Leistungsbewertungsmetriken für Deepseek-R1
Konzentrieren Sie sich bei der Bewertung der Leistung von Deekseek-R1-Modellen auf die folgenden Metriken:
-End-to-End-Latenz: Die Zeit zwischen dem Senden einer Anfrage und dem Empfang der Antwort.
- Durchsatz (Token pro Sekunde): Die Anzahl der pro Sekunde verarbeiteten Token.
- Zeit zum ersten Token: Die Zeit, die für die Erzeugung des ersten Tokens in einer Antwort benötigt wird.
- Latenz zwischen und köpfig: Die Zeit zwischen der Erzeugung jedes Tokens in einer Antwort [1] [4].
Szenarien zum Testen
Um die Deepseek-R1-Leistung effektiv zu bewerten, sollten Sie verschiedene Szenarien testen:- Eingangs -Token -Längen: Test mit kurzer (z. B. 512 Token) und Medium (z. B. 3072 Token) Eingangslängen, um zu bewerten, wie das Modell unterschiedliche Eingangsgrößen verarbeitet.
- Parallelitätsniveaus: Bewerten Sie die Leistung unter verschiedenen Parallelitätsniveaus (z. B. 1, 10), um die Skalierbarkeit zu bewerten.
- Hardwarekonfigurationen: Verwenden Sie verschiedene GPU -Instanztypen (z. B. P4D, G5, G6) mit unterschiedlichen GPUs, um die optimale Konfiguration für Ihre Workload zu finden [1] [4].
Best Practices für die Überwachung und Bewertung
- Verwenden Sie den Amazon Sagemaker: Verwenden Sie Deepseek-R1-Modelle mit Sagemaker, um seine verwalteten Funktionen für Infrastruktur- und Leistungsüberwachung zu nutzen.- Benutzerdefinierte Tests: Führen Sie benutzerdefinierte Tests mit Ihren spezifischen Datensätzen und Anwendungsfällen durch, um sicherzustellen, dass die Ergebnisse für Ihre Anwendung relevant sind.
- Kontinuierliche Überwachung: Überwachen Sie regelmäßig Leistungsmetriken, um Engpässe zu identifizieren und die Ressourcenauslastung zu optimieren [4] [7].
Wenn Sie diese Schritte befolgen und die richtigen Tools verwenden, können Sie die Leistung von Deepseek-R1 in AWS-GPU-Instanzen effektiv überwachen und bewerten.
Zitate:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-teek-r1-distillieren-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[2] https://docs.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_our_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-yepseek-r1-distillieren-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-optimization/
[6] https://github.com/aws--amples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-informance-performance-evaluation-report.ipynb
[7] https://virtualisationreview.com/articles/2025/03/11/aws-first-loud-giant-to--lofer-peepseek-r1-as-y-managed-serverless-model.aspx
[8] https://docs.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-fely-managed-amazon-bedrock/