تتضمن مراقبة وتقييم أداء DeepSeek-R1 على مثيلات GPU AWS عدة خطوات وأدوات. إليك دليل مفصل حول كيفية القيام بذلك بشكل فعال:
أدوات المراقبة والمقاييس
Amazon CloudWatch
Amazon CloudWatch هي أداة رئيسية لمراقبة موارد AWS ، بما في ذلك مثيلات GPU. يجمع ومعالجة البيانات الخام إلى مقاييس قابلة للقراءة ، بالقرب من الوقت الحقيقي. بالنسبة لحالات GPU ، يمكنك مراقبة المقاييس مثل:- استخدام وحدة معالجة الرسومات: النسبة المئوية من وحدات معالجة الرسومات المخصصة حاليًا.
- gpumeMoryutization: النسبة المئوية لذاكرة GPU الكلية قيد الاستخدام.
- وحدة المعالجة المركزية: النسبة المئوية لوحدات حساب EC2 المخصصة.
- الذاكرة: النسبة المئوية للذاكرة المستخدمة خلال فترة العينة.
لتمكين مقاييس استخدام GPU ، تحتاج إلى تثبيت وكيل CloudWatch على مثيلاتك وتكوينه لجمع مقاييس GPU NVIDIA [2] [8].
NVIDIA Metrics
بالإضافة إلى مقاييس CloudWatch ، يمكنك استخدام أمر `nvidia-smi` لمراقبة أداء GPU في الوقت الحقيقي. يوفر هذا الأمر معلومات مفصلة حول استخدام GPU ، واستخدام الذاكرة ، ودرجة الحرارة [5].مقاييس تقييم الأداء لـ Deepseek-R1
عند تقييم أداء نماذج Deepseek-R1 ، ركز على المقاييس التالية:
-الكمون الشامل: الوقت بين إرسال طلب واستلام الاستجابة.
- الإنتاجية (الرموز في الثانية): عدد الرموز التي تمت معالجتها في الثانية.
- وقت الرمز المميز الأول: الوقت المستغرق لإنشاء الرمز المميز الأول في الرد.
- زمن انتقال بين المحكمين: الوقت بين توليد كل رمز في استجابة [1] [4].
سيناريوهات للاختبار
لتقييم أداء Deepseek-R1 بشكل فعال ، فكر في اختبار سيناريوهات مختلفة:- أطوال رمز المدخلات: اختبار بأطوال الإدخال القصيرة (على سبيل المثال ، 512 رمزًا) والمتوسطة (على سبيل المثال ، 3072 رمزًا) لتقييم كيفية تعامل النموذج لأحجام الإدخال المتغيرة.
- مستويات التزامن: تقييم الأداء تحت مستويات التزامن المختلفة (على سبيل المثال ، 1 ، 10) لتقييم قابلية التوسع.
- تكوينات الأجهزة: استخدم أنواع مثيلات GPU المختلفة (على سبيل المثال ، P4D ، G5 ، G6) مع أرقام مختلفة من وحدات معالجة الرسومات للعثور على التكوين الأمثل لعبء العمل الخاص بك [1] [4].
أفضل الممارسات للمراقبة والتقييم
- استخدم Amazon Sagemaker: Deploy Deepseek-R1 باستخدام Sagemaker للاستفادة من قدراتها على البنية التحتية المدارة ومراقبة الأداء.- الاختبار المخصص: إجراء اختبار مخصص مع مجموعات البيانات المحددة وحالات الاستخدام لضمان أن النتائج ذات صلة بتطبيقك.
- المراقبة المستمرة: مراقبة مقاييس الأداء بانتظام لتحديد الاختناقات وتحسين استخدام الموارد [4] [7].
من خلال اتباع هذه الخطوات واستخدام الأدوات الصحيحة ، يمكنك مراقبة وتقييم أداء Deepseek-R1 بشكل فعال على مثيلات GPU AWS.
الاستشهادات:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai//
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3]
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-distilled-models-on-amazon-sagemaker-use-a-large-model-inference-container/
[5]
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-forformance-evaluation/deepeek-r1-distilled/deepseek-r1-distilled-performance-valuation-report.ipynb
[7] https://virtualizationReview.com/articles/2025/03/11/aws-first-cloud-giant-to-fefer-deepseek-s-as-lay-dary-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9]