Monitorizarea și evaluarea performanței DeepSeek-R1 pe instanțele AWS GPU implică mai mulți pași și instrumente. Iată un ghid detaliat despre cum să o faci eficient:
Instrumente de monitorizare și valori
Amazon Cloudwatch
Amazon Cloudwatch este un instrument cheie pentru monitorizarea resurselor AWS, inclusiv instanțele GPU. Colectează și procesează datele brute în valorile lizibile, aproape în timp real. Pentru instanțele GPU, puteți monitoriza valori precum:- Utilizarea GPU: procentul de GPU -uri alocate în prezent utilizate.
- gpumemoryutilization: procentul memoriei GPU totale utilizate.
- Cpuutilizare: procentul de unități de calcul EC2 alocate utilizate.
- Memorieutilizare: procentul de memorie utilizat în perioada de eșantion.
Pentru a activa valorile de utilizare a GPU, trebuie să instalați agentul CloudWatch în instanțele dvs. și să îl configurați pentru a colecta metrica NVIDIA GPU [2] [8].
NVIDIA valorile
În plus față de valorile Cloudwatch, puteți utiliza comanda `nvidia-SMI` pentru a monitoriza performanța GPU în timp real. Această comandă oferă informații detaliate despre utilizarea GPU, utilizarea memoriei și temperatura [5].Valorile de evaluare a performanței pentru DeepSeek-R1
Atunci când evaluați performanța modelelor Deepseek-R1, concentrați-vă pe următoarele valori:
-Latență end-to-end: timpul dintre trimiterea unei cereri și primirea răspunsului.
- debit (jetoane pe secundă): numărul de jetoane prelucrate pe secundă.
- Timpul pentru primul jeton: timpul necesar pentru a genera primul jeton într -un răspuns.
- Latență inter-token: timpul dintre generarea fiecărui jeton într-un răspuns [1] [4].
scenarii pentru testare
Pentru a evalua eficient performanța DeepSeek-R1, luați în considerare testarea diferitelor scenarii:- Lungimi de jeton de intrare: test cu lungimi de intrare scurte (de exemplu, 512) și medii (de exemplu, 3072 jetoane) pentru a evalua modul în care modelul gestionează dimensiunile de intrare variate.
- Niveluri de concurență: evaluați performanța la diferite niveluri de concurență (de exemplu, 1, 10) pentru a evalua scalabilitatea.
- Configurații hardware: Utilizați diverse tipuri de instanțe GPU (de exemplu, P4D, G5, G6) cu un număr diferit de GPU pentru a găsi configurația optimă pentru volumul de muncă [1] [4].
Cele mai bune practici pentru monitorizare și evaluare
- Utilizați Amazon Sagemaker: implementați modele DeepSeek-R1 folosind SageMaker pentru a folosi capacitățile sale de monitorizare a infrastructurii și performanței gestionate.- Testare personalizată: efectuați teste personalizate cu seturile de date specifice și utilizați cazuri pentru a vă asigura că rezultatele sunt relevante pentru aplicația dvs.
- Monitorizare continuă: Monitorizați în mod regulat valorile de performanță pentru a identifica blocajele și optimizarea utilizării resurselor [4] [7].
Urmărind acești pași și folosind instrumentele potrivite, puteți monitoriza și evalua în mod eficient performanța DeepSeek-R1 în instanțele GPU AWS.
Citări:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-pace-tgi-on-amazon-stagemaker-AI/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
]
]
[6] https://github.com/aws-samples/amazon-sagemaker-generativai/blob/main/llm-performance-evaluation/deepseek-distiltlen/deepseek-distiltle-performance-evaluation-report.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-jiant-to-frofer-deepseek-r1-as-fully-managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-fully-managed-amazon-bedrock/