Overvåking og evaluering av ytelsen til DeepSeek-R1 på AWS GPU-forekomster innebærer flere trinn og verktøy. Her er en detaljert guide for hvordan du gjør det effektivt:
Overvåkingsverktøy og beregninger
Amazon Cloudwatch
Amazon Cloudwatch er et sentralt verktøy for å overvåke AWS -ressurser, inkludert GPU -forekomster. Den samler inn og behandler rå data til lesbare, nær sanntidsberegninger. For GPU -forekomster kan du overvåke beregninger som:- GPU -utnyttelse: prosentandelen av tildelte GPU -er som er i bruk.
- GPUMEMORYTILISERING: Prosentandelen av total GPU -minne i bruk.
- Cpuutilization: prosentandelen av tildelte EC2 -beregningsenheter som er i bruk.
- Memoryutilisering: Prosentandelen av minnet som ble brukt i prøveperioden.
For å aktivere GPU -utnyttelsesmålinger, må du installere CloudWatch -agenten i forekomstene dine og konfigurere den til å samle NVIDIA GPU -beregninger [2] [8].
NVIDIA METRICS
I tillegg til CloudWatch-beregninger, kan du bruke `NVIDIA-SMI`-kommandoen for å overvåke GPU-ytelsen i sanntid. Denne kommandoen gir detaljert informasjon om GPU -bruk, minnebruk og temperatur [5].Resultatevalueringsmålinger for DeepSeek-R1
Når du evaluerer ytelsen til DeepSeek-R1-modeller, fokuserer du på følgende beregninger:
-Ende-til-ende latens: Tiden mellom å sende en forespørsel og motta svaret.
- Gjennomstrømning (symboler per sekund): Antall symboler behandlet per sekund.
- Tid til første token: Tiden det tar å generere det første tokenet i et svar.
- Inter-Token latens: Tiden mellom å generere hvert token i et svar [1] [4].
scenarier for testing
For å evaluere DeepSeek-R1-ytelsen effektivt, bør du vurdere å teste forskjellige scenarier:- Inngangstokenlengder: Test med korte (f.eks. 512 symboler) og medium (f.eks. 3072 tokens) inngangslengder for å vurdere hvordan modellen håndterer varierende inngangsstørrelser.
- Samurnivåer: Evaluer ytelse under forskjellige samtidighetsnivåer (f.eks. 1, 10) for å vurdere skalerbarhet.
- Maskinvarekonfigurasjoner: Bruk forskjellige GPU -forekomsttyper (f.eks. P4D, G5, G6) med forskjellige antall GPU -er for å finne den optimale konfigurasjonen for arbeidsmengden din [1] [4].
Beste praksis for overvåking og evaluering
- Bruk Amazon Sagemaker: Deploy DeepSeek-R1-modeller ved hjelp av Sagemaker for å utnytte den administrerte infrastrukturen og ytelsesovervåkningsevnen.- Tilpasset testing: Utfør tilpasset testing med dine spesifikke datasett og bruk tilfeller for å sikre at resultatene er relevante for applikasjonen din.
- Kontinuerlig overvåking: Overvåker regelmessig ytelsesmålinger for å identifisere flaskehalser og optimalisere ressursutnyttelsen [4] [7].
Ved å følge disse trinnene og bruke de riktige verktøyene, kan du effektivt overvåke og evaluere ytelsen til DeepSeek-R1 på AWS GPU-forekomster.
Sitasjoner:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-slosting-depseek-r1-distilled-models-with-hugging- face-tgi-on-azon-sagemaker-ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-azon-sagemaker-dings-a-a-large-modell-inferens-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-optimization/
[6] https://github.com/aws-samples/amazon-sagemaker-generativei/blob/main/llm-performance-valuation/deepseek-r1-distilled/deepseek-r1-distilled-performance-valuation-report.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-Giant-to-oDer-depseek-r1-as-hely-managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ly-managed-azon-bedrock/