Spremljanje in ocenjevanje uspešnosti Deepseek-R1 na primerkih AWS GPU vključuje več korakov in orodij. Tu je podroben vodnik, kako to učinkovito storiti:
Orodja za spremljanje in meritve
Amazon CloudWatch
Amazon CloudWatch je ključno orodje za spremljanje virov AWS, vključno z GPU primerki. Zbira in obdeluje surove podatke v berljive, skoraj v realnem času. Za primere GPU lahko spremljate meritve, kot so:- Uporaba GPU: odstotek dodeljenih GPU -jev, ki je trenutno v uporabi.
- gpumemoryutilizacija: odstotek celotnega pomnilnika GPU v uporabi.
- Cpuutilizacija: odstotek dodeljenih računalniških enot EC2 v uporabi.
- MemoryUtilizacija: odstotek pomnilnika, ki se uporablja v vzorčnem obdobju.
Če želite omogočiti meritve uporabe GPU, morate namestiti agent CloudWatch na svoje primerke in ga konfigurirati za zbiranje NVIDIA GPU Metric [2] [8].
NVIDIA Metrike
Poleg meritev CloudWatch lahko v realnem času uporabite ukaz `nvidia-Smi` za spremljanje zmogljivosti GPU-ja. Ta ukaz ponuja podrobne informacije o uporabi GPU, uporabi pomnilnika in temperaturi [5].Meritve ocenjevanja uspešnosti za Deepseek-R1
Pri ocenjevanju uspešnosti modelov Deepseek-R1 se osredotočite na naslednje meritve:
-Zakasnitev od konca do konca: čas med pošiljanjem zahteve in prejemanjem odgovora.
- pretok (žetoni na sekundo): število žetonov, obdelanih na sekundo.
- Čas za prvi žeton: čas, potreben za ustvarjanje prvega žetona v odgovoru.
- Medsebojna zamuda: čas med ustvarjanjem vsakega žetona v odgovoru [1] [4].
Scenariji za testiranje
Če želite učinkovito oceniti uspešnost Deepseek-R1, razmislite o testiranju različnih scenarijev:- Dolžine vhodnih žetonov: Preizkusite s kratkimi (npr. 512 žetoni) in medijem (npr. 3072 žetonov) vhodnih dolžin, da ocenimo, kako model obravnava različne vhodne velikosti.
- Ravni sočasnosti: Ocenite uspešnost v različnih stopnjah sočasnosti (npr. 1, 10) za oceno razširljivosti.
- Konfiguracije strojne opreme: Uporabite različne vrste primerov GPU (npr. P4D, G5, G6) z različnim številom GPU -jev za iskanje optimalne konfiguracije za vašo delovno obremenitev [1] [4].
Najboljše prakse za spremljanje in ocenjevanje
- Uporabite Amazon SageMaker: Uživajte modele Deepseek-R1 z uporabo SageMakerja, da izkoristite svoje upravljane infrastrukture in zmogljivosti za spremljanje zmogljivosti.- Testiranje po meri: Izvedite testiranje po meri s svojimi posebnimi nabori in primeri uporabe, da zagotovite, da so rezultati pomembni za vašo aplikacijo.
- Nenehno spremljanje: redno spremljajte meritve uspešnosti, da prepoznate ozka grla in optimizirate uporabo virov [4] [7].
Z upoštevanjem teh korakov in uporabo pravih orodij lahko učinkovito spremljate in ocenite delovanje Deepseek-R1 na primerkih AWS GPU.
Navedbe:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/EC2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-optimizacija/
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-distilled-performance-evaluation-report.ipynb
[7] https://virtualizacijaReview.com/articles/2025/03/11/aws-first-coloud-giant-to-to-offer-deepseek-r1-as- fly-upravljano-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ful-managed-amazon-bedrock/