Overvågning og evaluering af ydelsen af DeepSeek-R1 på AWS GPU-forekomster involverer flere trin og værktøjer. Her er en detaljeret guide til, hvordan man gør det effektivt:
Overvågningsværktøjer og målinger
Amazon Cloudwatch
Amazon CloudWatch er et vigtigt værktøj til overvågning af AWS -ressourcer, herunder GPU -forekomster. Det indsamler og behandler rå data til læsbare, nær realtidsmetrics. For GPU -forekomster kan du overvåge målinger såsom:- GPU -anvendelse: Procentdelen af tildelte GPU'er, der i øjeblikket er i brug.
- Gpumemoryutilization: Procentdelen af den samlede GPU -hukommelse, der er i brug.
- cpuutilisering: Procentdelen af tildelte EC2 -beregningsenheder, der er i brug.
- MemoryUilization: Procentdelen af hukommelse, der blev brugt i prøveperioden.
For at aktivere GPU -udnyttelsesmetrics skal du installere CloudWatch -agenten på dine forekomster og konfigurere det til at indsamle NVIDIA GPU -metrics [2] [8].
NVIDIA METRICS
Foruden CloudWatch Metrics kan du bruge kommandoen `NVIDIA-SMI 'til at overvåge GPU-ydeevne i realtid. Denne kommando indeholder detaljerede oplysninger om GPU -udnyttelse, hukommelsesbrug og temperatur [5].Performance Evaluation Metrics for DeepSeek-R1
Når du evaluerer ydelsen af DeepSeek-R1-modeller, skal du fokusere på følgende målinger:
-End-to-end-latenstid: tiden mellem at sende en anmodning og modtage svaret.
- Gennemstrømning (tokens pr. Sekund): Antallet af forarbejdede tokens pr. Sekund.
- Tid til først token: Den tid, det tager at generere det første token i et svar.
- Inter-token Latency: Tiden mellem at generere hvert token i et svar [1] [4].
Scenarier til testning
For at evaluere Deepseek-R1-ydelse effektivt skal du overveje at teste forskellige scenarier:- Input -tokenlængder: Test med korte (f.eks. 512 tokens) og medium (f.eks. 3072 tokens) inputlængder for at vurdere, hvordan modellen håndterer forskellige inputstørrelser.
- Samtidig niveau: Evaluer ydeevne under forskellige samtidighedsniveauer (f.eks. 1, 10) for at vurdere skalerbarhed.
- Hardwarekonfigurationer: Brug forskellige GPU -forekomsttyper (f.eks. P4D, G5, G6) med forskellige antal GPU'er for at finde den optimale konfiguration til din arbejdsbyrde [1] [4].
Bedste praksis til overvågning og evaluering
- Brug Amazon Sagemaker: Deploy DeepSeek-R1-modeller ved hjælp af Sagemaker til at udnytte sin administrerede infrastruktur og præstationsovervågningsevne.- Brugerdefineret test: Udfør brugerdefineret test med dine specifikke datasæt og brug sager for at sikre, at resultaterne er relevante for din applikation.
- Kontinuerlig overvågning: Overvåg regelmæssigt ydelsesmetrics for at identificere flaskehalse og optimere ressourceudnyttelsen [4] [7].
Ved at følge disse trin og bruge de rigtige værktøjer kan du effektivt overvåge og evaluere ydelsen af DeepSeek-R1 på AWS GPU-forekomster.
Citater:
[Jeg
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
)
)
)
[7] https://virtualizationReview.com/articles/2025/03/11/aws-first-cloud-giant-to-offer-deepseek-r1-s-thiffle-managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
)