DeepSEEK-R1 veiktspējas uzraudzība un novērtēšana AWS GPU gadījumos ietver vairākas darbības un rīkus. Šeit ir detalizēts ceļvedis, kā to izdarīt efektīvi:
Uzraudzības rīki un metrika
Amazon CloudWatch
Amazon CloudWatch ir galvenais rīks AWS resursu uzraudzībai, ieskaitot GPU gadījumus. Tas apkopo un apstrādā neapstrādātus datus lasāmā, tuvu reāllaika metrikai. GPU gadījumos jūs varat uzraudzīt metriku, piemēram,:- GPU izmantošana: pašlaik izmantoto GPU procentuālais daudzums.
- Gpumemoryutilization: izmantotā kopējās GPU atmiņas procentuālais daudzums.
- CPUUTILIZATION: izmantoto EC2 aprēķināšanas vienību procentuālais daudzums.
- Atmiņas saikne: parauga periodā izmantotais atmiņas procents.
Lai iespējotu GPU izmantošanas metriku, jums jāinstalē CloudWatch aģents savos gadījumos un jākonfigurē tas, lai savāktu NVIDIA GPU metriku [2] [8].
nvidia metrika
Papildus CloudWatch metrikai varat izmantot komandu `NVIDIA-SMI`, lai reālā laikā uzraudzītu GPU veiktspēju. Šī komanda sniedz detalizētu informāciju par GPU izmantošanu, atmiņas izmantošanu un temperatūru [5].DeepSeek-R1 veiktspējas novērtēšanas metrika
Novērtējot DeepSEEK-R1 modeļu veiktspēju, koncentrējieties uz šādām metrikām:
-Latentums no gala līdz galam: laiks starp pieprasījuma nosūtīšanu un atbildes saņemšanu.
- caurlaidspēja (žetoni sekundē): apstrādātu žetonu skaits sekundē.
- Laiks uz pirmo marķieri: laiks, kas nepieciešams, lai radītu pirmo marķieri atbildē.
- Starpnozaru latentums: laiks starp katra marķiera ģenerēšanu atbildē [1] [4].
Pārbaudes scenāriji
Lai efektīvi novērtētu DeepSEEK-R1 veiktspēju, apsveriet iespēju pārbaudīt dažādus scenārijus:- Ievades marķiera garumi: tests ar īsiem (piemēram, 512 žetoniem) un barotni (piemēram, 3072 žetoni) Ievades garumi, lai novērtētu, kā modelis apstrādā atšķirīgus ievades lielumus.
- Vienlaicības līmeņi: novērtēt veiktspēju dažādos vienlaicības līmeņos (piemēram, 1, 10), lai novērtētu mērogojamību.
- Aparatūras konfigurācijas: izmantojiet dažādus GPU instanču veidus (piemēram, P4D, G5, G6) ar atšķirīgu GPU skaitu, lai atrastu jūsu darba slodzes optimālo konfigurāciju [1] [4].
Pārraudzības un novērtēšanas paraugprakse
- Izmantojiet Amazon Sagemaker: Izvietojiet DeepSeEK-R1 modeļus, izmantojot Sagemaker, lai izmantotu pārvaldītās infrastruktūras un veiktspējas uzraudzības iespējas.- Pielāgota pārbaude: veiciet pielāgotu testēšanu ar savām īpašajām datu kopām un lietošanas gadījumiem, lai pārliecinātos, ka rezultāti ir saistīti ar jūsu lietojumprogrammu.
- Nepārtraukta uzraudzība: regulāri uzraugiet veiktspējas rādītājus, lai identificētu sašaurinājumus un optimizētu resursu izmantošanu [4] [7].
Veicot šīs darbības un izmantojot pareizos rīkus, jūs varat efektīvi uzraudzīt un novērtēt DeepSEEK-R1 veiktspēju AWS GPU gadījumos.
Atsauces:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-depseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
.
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-optimization/
.
.
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ly-managed-amazon-bedrock/