كيف يعمل التقييم التلقائي لـ Deepseek-R1 على Sagemaker

نظرة عامة على التقييم التلقائي

تم تصميم التقييم التلقائي في Sagemaker لضبط عدد الحالات تلقائيًا بناءً على عبء العمل. بالنسبة لنماذج Deepseek-R1 ، هذا يعني أن نقاط النهاية Sagemaker يمكن أن تتوسع أفقيًا للتعامل مع زيادة حركة المرور عن طريق إضافة المزيد من الحالات. وعلى العكس ، خلال فترات انخفاض الطلب ، يمكن أن تقلل Sagemaker إلى مثيلات صفر ، وبالتالي تحسين استخدام الموارد وتقليل التكاليف.

مكونات المفاتيح للتقسيم التلقائي

1. موازنة التحميل: تدعم نقاط نهاية Sagemaker موازنة التحميل التلقائي ، والتي توزع الطلبات الواردة عبر مثيلات متعددة. هذا يضمن عدم وجود مثيل واحد غارقًا ، حيث يحافظ على أداء ثابت حتى في ظل ظروف الحمل العالية.

2. سياسات التحجيم: يمكن للمستخدمين تحديد سياسات التحجيم بناءً على مقاييس محددة ، مثل استخدام وحدة المعالجة المركزية أو زمن انتقال الطلب. تحدد هذه السياسات وقت توسيع نطاق أو لأسفل. بالنسبة لنماذج Deepseek-R1 ، قد تتضمن المقاييس الشائعة زمن الوصول من شوط إلى النهاية ورموز إنتاجية ووقت إلى الرمز المميز الأول ، والكمون بين الكحول.

3. أنواع التزامن وأنواع المثيلات: يمكن نشر نماذج DeepSeek-R1 على أنواع مختلفة من الأمثلة ، ولكل منها تكوينات GPU مختلفة (على سبيل المثال ، 1 أو 4 أو 8 وحدات معالجة الرسومات لكل مثيل). يؤثر اختيار نوع المثيل على أداء النموذج وقابلية التوسع. من خلال تحديد أنواع المثيلات المناسبة وتكوين مستويات التزامن ، يمكن للمستخدمين تحسين استجابة النموذج وكفاءته.

عملية النشر

لنشر نماذج DeepSeek-R1 مع التقسيم التلقائي على Sagemaker ، يتبع المستخدمون عادة هذه الخطوات:

-اختيار النموذج: اختر متغير نموذج DeepSeek-R1 المناسب ، مثل الإصدارات المقطرة (على سبيل المثال ، Deepseek-R1-Distill-Llama-8B) ، والتي توفر توازنًا بين الأداء والكفاءة.

- تكوين نقطة النهاية: قم بإعداد نقطة نهاية Sagemaker مع النموذج المحدد. يتضمن ذلك تحديد موقع النموذج (على سبيل المثال ، Hugging Face Hub أو دلو S3 الخاص) ، وتكوين متغيرات البيئة ، وتحديد نوع المثيل وعدد المثيل الأولي.

-تكوين التقييم التلقائي: تحديد سياسات التقسيم التلقائي على أساس المقاييس المطلوبة (على سبيل المثال ، استخدام وحدة المعالجة المركزية). هذا يضمن أن نقاط النقطة النهائية ديناميكيًا استجابةً للتغيرات في عبء العمل.

- المراقبة والتحسين: مراقبة أداء نقطة النهاية باستمرار وضبط سياسات التحجيم حسب الحاجة للحفاظ على الأداء الأمثل وكفاءة التكلفة.

فوائد التقسيم التلقائي لـ Deepseek-R1

- كفاءة التكلفة: عن طريق التخفيض خلال فترات انخفاض الطلب ، يمكن للمؤسسات أن تقلل بشكل كبير من التكاليف المرتبطة بتشغيل نماذج لغة كبيرة.
- استجابة تحسين: يضمن التقسيم التلقائي أن يظل النموذج مستجيبًا حتى في ظل ظروف الحمل العالية ، مما يعزز تجربة المستخدم.
- الإدارة المبسطة: تعمل البنية التحتية المدارة في Sagemaker على تبسيط عملية النشر والتوسيع ، مما يسمح للمطورين بالتركيز على تطوير النماذج وتكامل التطبيق بدلاً من إدارة البنية التحتية.

بشكل عام ، يوفر التقييم التلقائي لنماذج Deepseek-R1 على Sagemaker طريقة قوية وفعالة لنشر نماذج اللغة المتقدمة ، مما يضمن أن يتمكنوا من التعامل مع أعباء العمل المختلفة مع الحفاظ على الأداء العالي والفعالية من حيث التكلفة.

الاستشهادات:
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-distilled-models-on-amazon-sagemaker-use-a-large-model-inference-container/
[2] https://blogs.cisco.com/security/evaluating-security-reks-in-deepseek-and-phrontier-reasoning-models
[3] https://repost.aws/questions؟view=all&sort=recent&page=eyj2ijoylcjuijoiMxfkulbzbgfwotbz qxfgakl5nzbxt09iiWidci6ilfjbxdxdlptbtrgzknhzkvprjlwsstza2hsmdgymutjwe1rdhkzse5snfk9in0
[4] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai//
[5] https://www.byteplus.com/en/topic/383390
[6] https://repost.aws/questions؟view=all&sort=recent&page=eyj2ijoylcjuijoiqup4cuorys9pt29q aehntjh6ndy0dz09iiwidci6innvcunvrmfimfq0otluc1v5mkftawjpwmjvthlkofjttrxd3yvyzrtcmc9in0
[7] https://www.oneclickitsolution.com/centerofexcellence/aiml/deploy-deepeek-r1-amazon-sagemaker-guide
[8]
[9] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws؟lang=en