Memantau dan mengevaluasi kinerja Deepseek-R1 pada instance AWS GPU melibatkan beberapa langkah dan alat. Berikut panduan terperinci tentang cara melakukannya secara efektif:
Alat pemantauan dan metrik
Amazon CloudWatch
Amazon CloudWatch adalah alat utama untuk memantau sumber daya AWS, termasuk instance GPU. Ini mengumpulkan dan memproses data mentah menjadi metrik yang dapat dibaca, dekat waktu-nyata. Untuk instance GPU, Anda dapat memantau metrik seperti:- Pemanfaatan GPU: Persentase GPU yang dialokasikan saat ini digunakan.
- Gpumemoryutilisasi: Persentase total memori GPU yang digunakan.
- Cpuutilisasi: Persentase unit komputasi EC2 yang dialokasikan.
- Memoryutilisasi: Persentase memori yang digunakan selama periode sampel.
Untuk mengaktifkan metrik pemanfaatan GPU, Anda perlu menginstal agen CloudWatch pada instance Anda dan mengkonfigurasinya untuk mengumpulkan metrik GPU NVIDIA [2] [8].
MetrikNVIDIA
Selain metrik CloudWatch, Anda dapat menggunakan perintah `nvidia-smi` untuk memantau kinerja GPU secara real time. Perintah ini memberikan informasi terperinci tentang pemanfaatan GPU, penggunaan memori, dan suhu [5].Metrik Evaluasi Kinerja untuk Deepseek-R1
Saat mengevaluasi kinerja model Deepseek-R1, fokuslah pada metrik berikut:
-Latensi ujung-ke-ujung: Waktu antara mengirim permintaan dan menerima tanggapan.
- Throughput (token per detik): Jumlah token yang diproses per detik.
- Waktu untuk Token Pertama: Waktu yang dibutuhkan untuk menghasilkan token pertama dalam tanggapan.
- Latensi antar-Token: Waktu antara menghasilkan masing-masing token dalam respons [1] [4].
skenario untuk pengujian
Untuk mengevaluasi kinerja Deepseek-R1 secara efektif, pertimbangkan untuk menguji berbagai skenario:- Panjang input token: Tes dengan panjang input pendek (mis.
- Level Concurrency: Mengevaluasi kinerja di bawah tingkat konkurensi yang berbeda (mis., 1, 10) untuk menilai skalabilitas.
- Konfigurasi Perangkat Keras: Gunakan berbagai jenis instance GPU (mis., P4D, G5, G6) dengan jumlah GPU yang berbeda untuk menemukan konfigurasi optimal untuk beban kerja Anda [1] [4].
Praktik terbaik untuk pemantauan dan evaluasi
- Gunakan Amazon Sagemaker: Menyebarkan model Deepseek-R1 menggunakan Sagemaker untuk memanfaatkan infrastruktur yang dikelola dan kemampuan pemantauan kinerja.- Pengujian Kustom: Lakukan pengujian khusus dengan kumpulan data spesifik Anda dan menggunakan kasus untuk memastikan hasilnya relevan dengan aplikasi Anda.
- Pemantauan berkelanjutan: Secara teratur memantau metrik kinerja untuk mengidentifikasi kemacetan dan mengoptimalkan pemanfaatan sumber daya [4] [7].
Dengan mengikuti langkah-langkah ini dan menggunakan alat yang tepat, Anda dapat secara efektif memantau dan mengevaluasi kinerja Deepseek-R1 pada instance GPU AWS.
Kutipan:
[1.
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4.
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-cases-and-cost-optimization/
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-distilled-performance-evaluation-report.ipynb
[7] https://virtualisasireview.com/articles/2025/03/11/aws-first-cloud-giant-toer-deepseek-r1-as-fulent-managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-fulent-anMaged-amazon-bedrock/
