Monitorovanie a hodnotenie výkonu DeepSeek-R1 na inštanciách GPU AWS zahŕňa niekoľko krokov a nástrojov. Tu je podrobný sprievodca, ako to urobiť efektívne:
Monitorovacie nástroje a metriky
Amazon CloudWatch
Amazon CloudWatch je kľúčovým nástrojom na monitorovanie zdrojov AWS vrátane inštancií GPU. Zhromažďuje a spracováva prvotné údaje na čitateľné metriky v reálnom čase. Pre inštancie GPU môžete monitorovať metriky, ako napríklad:- Využitie GPU: Percento pridelených GPU, ktoré sa v súčasnosti používa.
- GPUMEMORYUtilizácia: Percentuálny podiel z celkovej používanej pamäte GPU.
- Koutilizácia: Percento používaných pridelených jednotiek Compute EC2.
- MemoryUtilizácia: Percento pamäte použitej počas obdobia vzorky.
Ak chcete povoliť metriky využitia GPU, musíte do svojich inštancií nainštalovať agenta CloudWatch a nakonfigurovať ho tak, aby zbieral metriky GPU NVIDIA [2] [8].
NVIDIA Metriky
Okrem metriky CloudWatch môžete použiť príkaz `NVIDIA-SMI` na monitorovanie výkonu GPU v reálnom čase. Tento príkaz poskytuje podrobné informácie o využívaní GPU, využívaní pamäte a teplote [5].Metriky hodnotenia výkonnosti pre Deepseek-R1
Pri hodnotení výkonnosti modelov Deepseek-R1 sa zamerajte na tieto metriky:
-Latencia konca na konci: Čas medzi odoslaním žiadosti a prijatím odpovede.
- Priepustnosť (tokeny za sekundu): Počet tokenov spracovaných za sekundu.
- Čas do prvého tokenu: Čas potrebný na vygenerovanie prvého tokenu v odpovedi.
- Inter-token latencia: Čas medzi generovaním každého tokenu v odpovedi [1] [4].
Scenáre na testovanie
Ak chcete efektívne vyhodnotiť výkon Deepseek-R1, zvážte testovanie rôznych scenárov:- Vstupné dĺžky tokenov: Test s krátkymi (napr. 512 žetónmi) a médiami (napr. 3072 žetónmi) vstupných dĺžok, aby sa vyhodnotilo, ako sa model zaoberá rôznymi veľkosťami vstupu.
- Úrovne súbežnosti: Vyhodnoťte výkonnosť pri rôznych úrovniach súbežnosti (napr. 1, 10) na vyhodnotenie škálovateľnosti.
- Hardvérové konfigurácie: Na nájdenie optimálnej konfigurácie pre vaše pracovné zaťaženie [1] [4] použite rôzne typy inštancií GPU (napr. P4D, G5, G6).
Osvedčené postupy na monitorovanie a hodnotenie
- Používajte Amazon Sagemaker: Nasadzujte modely DeepSeek-R1 pomocou Sagemaker na využitie jeho riadenej možností infraštruktúry a monitorovania výkonnosti.- Vlastné testovanie: Vykonajte vlastné testovanie s vašimi konkrétnymi súbormi údajov a prípadmi použitia, aby ste zaistili, že výsledky sú relevantné pre vašu aplikáciu.
- Nepretržité monitorovanie: Pravidelne monitorujte metriky výkonnosti na identifikáciu prekážok a optimalizáciu využívania zdrojov [4] [7].
Postupom týchto krokov a použitím správnych nástrojov môžete efektívne monitorovať a vyhodnotiť výkon Deepseek-R1 na inštanciách GPU AWS.
Citácie:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-for-tgi-on-on-amazon-sagemaker-ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-on-on-amazon-sagemaker-using-using-a-large-model-inference-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-ptimization/
Https://github.com/aws-samples/amazon-sageMaker-genenerativeai/blob/main/llm-performance-evaluation/deepseek-r1-distild/deepseek-r1-distille-performation-evaluation-report.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-giant-offer-offer-offer-eepseek-r1-AS-AS-Managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nat-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-flute-managed-anaged-amazon-bedrock/