Il monitoraggio e la valutazione delle prestazioni di DeepSeek-R1 sulle istanze della GPU AWS comporta diversi passaggi e strumenti. Ecco una guida dettagliata su come farlo in modo efficace:
strumenti e metriche di monitoraggio
Amazon CloudWatch
Amazon CloudWatch è uno strumento chiave per il monitoraggio delle risorse AWS, comprese le istanze GPU. Raccoglie ed elabora i dati grezzi in metriche leggibili e quasi in tempo reale. Per le istanze GPU, è possibile monitorare le metriche come:- Utilizzo della GPU: la percentuale di GPU allocate attualmente in uso.
- Gpumemoryutilization: la percentuale della memoria totale della GPU in uso.
- CPUUTILIZIONE: la percentuale di unità di calcolo EC2 allocate in uso.
- Memoryutilization: la percentuale di memoria utilizzata durante il periodo di campionamento.
Per abilitare le metriche di utilizzo delle GPU, è necessario installare l'agente CloudWatch sulle tue istanze e configurarlo per raccogliere le metriche GPU Nvidia [2] [8].
Metrichenvidia
Oltre alle metriche di CloudWatch, è possibile utilizzare il comando `Nvidia-SMI` per monitorare le prestazioni GPU in tempo reale. Questo comando fornisce informazioni dettagliate sull'utilizzo della GPU, l'utilizzo della memoria e la temperatura [5].Metriche di valutazione delle prestazioni per DeepSeek-R1
Quando si valuta le prestazioni dei modelli DeepSeek-R1, concentrati sulle seguenti metriche:
-Latenza end-to-end: il tempo tra l'invio di una richiesta e la ricezione della risposta.
- throughput (token al secondo): il numero di token elaborati al secondo.
- Tempo per il primo token: il tempo impiegato per generare il primo token in una risposta.
- Latenza inter-torsione: il tempo tra generare ogni token in una risposta [1] [4].
per i test
Per valutare efficacemente le prestazioni di DeepSeek-R1, considera di testare diversi scenari:- Lunghezze token di input: test con lunghezze di input brevi (ad es. 512 token) e medi (ad esempio, 3072 token) per valutare il modo in cui il modello gestisce le dimensioni delle dimensioni di input.
- Livelli di concorrenza: valutare le prestazioni in diversi livelli di concorrenza (ad es. 1, 10) per valutare la scalabilità.
- Configurazioni hardware: utilizzare vari tipi di istanza GPU (ad es. P4D, G5, G6) con diversi numeri di GPU per trovare la configurazione ottimale per il carico di lavoro [1] [4].
Best practice per il monitoraggio e la valutazione
- Utilizzare Amazon SageMaker: distribuire modelli DeepSeek-R1 utilizzando SageMaker per sfruttare le sue infrastrutture gestite e le capacità di monitoraggio delle prestazioni.- Test personalizzati: eseguire test personalizzati con i set di dati specifici e i casi d'uso per garantire che i risultati siano rilevanti per l'applicazione.
- Monitoraggio continuo: monitorare regolarmente le metriche delle prestazioni per identificare i colli di bottiglia e ottimizzare l'utilizzo delle risorse [4] [7].
Seguendo questi passaggi e utilizzando gli strumenti giusti, è possibile monitorare e valutare efficacemente le prestazioni di DeepSeek-R1 sulle istanze GPU AWS.
Citazioni:
5
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instance-performance-use-cases-and-cost-optimization/
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-dtishellel/deepseek-dtistille-performance-evaluation-report.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-gigiant-to-offer-deepseek-r1-as-managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ully-managed-amazon-bededrock/