Monitorowanie i ocena wydajności DeepSeek-R1 w instancjach GPU AWS obejmuje kilka kroków i narzędzi. Oto szczegółowy przewodnik, jak to zrobić skutecznie:
Narzędzia i wskaźniki monitorowania
Amazon CloudWatch
Amazon CloudWatch jest kluczowym narzędziem do monitorowania zasobów AWS, w tym instancji GPU. Zbiera i przetwarza surowe dane w czytelne, prawie wskaźniki w czasie rzeczywistym. W przypadku instancji GPU możesz monitorować wskaźniki, takie jak:- Wykorzystanie GPU: odsetek przydzielonych obecnie używanych GPU.
- GPumemoryutilization: Procent całkowitej pamięci GPU w użyciu.
- Cpuutilization: Procent przydzielonych jednostek obliczeniowych EC2 w użyciu.
- Pamięćutinacja: odsetek pamięci używanej w okresie próbnym.
Aby włączyć wskaźniki wykorzystania GPU, musisz zainstalować agenta CloudWatch w swoich instancjach i skonfigurować go do zbierania wskaźników NVIDIA GPU [2] [8].
Nvidia Metrycs
Oprócz wskaźników CloudWatch możesz użyć polecenia „Nvidia-Smi` do monitorowania wydajności GPU w czasie rzeczywistym. To polecenie zawiera szczegółowe informacje o wykorzystaniu GPU, zużyciu pamięci i temperaturze [5].Metryki oceny wydajności dla DeepSeek-R1
Oceniając wydajność modeli DeepSeek-R1, skup się na następujących wskaźnikach:
-Opóźnienie odcinka do końca: czas między wysłaniem żądania a otrzymaniem odpowiedzi.
- przepustowość (tokeny na sekundę): liczba tokenów przetwarzanych na sekundę.
- Czas na pierwszy token: Czas na wygenerowanie pierwszego tokena w odpowiedzi.
- Międzynarodowe opóźnienie: czas między generowaniem każdego tokena w odpowiedzi [1] [4].
scenariusze do testowania
Aby skutecznie ocenić wydajność DeepSeek-R1, rozważ testowanie różnych scenariuszy:- Długości tokena wejściowego: test z krótkimi (np. 512 tokenami) i średnimi (np. 3072 tokenów) długości wejściowych, aby ocenić, w jaki sposób obsługuje modele zmieniające rozmiary wejściowe.
- Poziomy współbieżności: Oceń wydajność na różnych poziomach współbieżności (np. 1, 10) w celu oceny skalowalności.
- Konfiguracje sprzętowe: Użyj różnych typów instancji GPU (np. P4D, G5, G6) z różnymi liczbami GPU, aby znaleźć optymalną konfigurację dla twojego obciążenia [1] [4].
Najlepsze praktyki monitorowania i oceny
- Użyj Amazon Sagemaker: Wdrożenie modeli DeepSeek-R1 przy użyciu SageMaker, aby wykorzystać zarządzaną infrastrukturę i możliwości monitorowania wydajności.- Testowanie niestandardowe: Przeprowadź niestandardowe testy za pomocą określonych zestawów danych i przypadków użycia, aby upewnić się, że wyniki są odpowiednie dla Twojej aplikacji.
- Ciągłe monitorowanie: Regularnie monitoruj wskaźniki wydajności w celu identyfikacji wąskich gardeł i optymalizacji wykorzystania zasobów [4] [7].
Podążając za tymi krokami i korzystając z odpowiednich narzędzi, możesz skutecznie monitorować i oceniać wydajność DeepSeek-R1 w instancjach GPU AWS.
Cytaty:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-loarning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instance-performance-use-cases-and-cost-optimization/
[6] https://github.com/aws-samples/amazon-sagemaker-enerativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-distilled-performance-evaluation-report.ipynb
[7] https://virtualizacyjnyreview.com/articles/2025/03/11/aws-first-bloud-giant-offer-deepseek-r1-as-ally-ananaged-serless-serless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-lyfuld-managed-amazon-bedrock/