การปรับขนาดอัตโนมัติทำงานอย่างไรสำหรับ Deepseek-R1 ใน Sagemaker

ภาพรวมของการปรับขนาดอัตโนมัติ

การปรับขนาดอัตโนมัติใน Sagemaker ได้รับการออกแบบมาเพื่อปรับจำนวนอินสแตนซ์โดยอัตโนมัติตามปริมาณงาน สำหรับรุ่น Deepseek-R1 ซึ่งหมายความว่าจุดสิ้นสุดของ Sagemaker สามารถปรับขนาดในแนวนอนเพื่อจัดการการรับส่งข้อมูลที่เพิ่มขึ้นโดยการเพิ่มอินสแตนซ์มากขึ้น ในทางกลับกันในช่วงระยะเวลาที่มีความต้องการต่ำ Sagemaker สามารถลดขนาดเป็นศูนย์ได้ซึ่งจะเป็นการเพิ่มประสิทธิภาพการใช้ทรัพยากรและลดต้นทุน

ส่วนประกอบสำคัญของการปรับขนาดอัตโนมัติ

1. โหลดบาลานซ์: จุดสิ้นสุดของ Sagemaker รองรับการปรับสมดุลโหลดอัตโนมัติซึ่งแจกจ่ายคำขอที่เข้ามาในหลาย ๆ กรณี สิ่งนี้ทำให้มั่นใจได้ว่าไม่มีอินสแตนซ์เดียวที่ถูกครอบงำรักษาประสิทธิภาพที่สอดคล้องกันแม้ภายใต้สภาวะโหลดสูง

2. นโยบายการปรับขนาด: ผู้ใช้สามารถกำหนดนโยบายการปรับขนาดตามตัวชี้วัดที่เฉพาะเจาะจงเช่นการใช้ CPU หรือขอเวลาแฝง นโยบายเหล่านี้กำหนดว่าจะขยายหรือลงเมื่อใด สำหรับโมเดล Deepseek-R1 ตัวชี้วัดทั่วไปอาจรวมถึงเวลาแฝงแบบ end-to-end โทเค็นปริมาณงาน, เวลาสำหรับโทเค็นแรกและเวลาแฝงระหว่างการตั้งอาสาสมัคร

3. ประเภทการเกิดพร้อมกันและอินสแตนซ์: แบบจำลอง DeepSeek-R1 สามารถปรับใช้กับประเภทอินสแตนซ์ที่หลากหลายแต่ละประเภทมีการกำหนดค่า GPU ที่แตกต่างกัน (เช่น 1, 4 หรือ 8 GPU ต่ออินสแตนซ์) ตัวเลือกประเภทอินสแตนซ์มีผลต่อประสิทธิภาพและความสามารถในการปรับขนาดของโมเดล โดยการเลือกประเภทอินสแตนซ์ที่เหมาะสมและการกำหนดค่าระดับพร้อมกันผู้ใช้สามารถเพิ่มประสิทธิภาพการตอบสนองและประสิทธิภาพของโมเดล

กระบวนการปรับใช้

ในการปรับใช้โมเดล DeepSeek-R1 ด้วยการปรับขนาดอัตโนมัติบน Sagemaker ผู้ใช้มักจะทำตามขั้นตอนเหล่านี้:

-การเลือกแบบจำลอง: เลือกตัวแปรรุ่น Deepseek-R1 ที่เหมาะสมเช่นเวอร์ชันกลั่น (เช่น Deepseek-R1-Distill-Llama-8b) ซึ่งให้ความสมดุลระหว่างประสิทธิภาพและประสิทธิภาพ

- การกำหนดค่าจุดสิ้นสุด: ตั้งค่าจุดสิ้นสุดของ Sagemaker ด้วยรุ่นที่เลือก สิ่งนี้เกี่ยวข้องกับการระบุตำแหน่งของโมเดล (เช่น Hugging Face Hub หรือถัง S3 ส่วนตัว) การกำหนดค่าตัวแปรสภาพแวดล้อมและกำหนดประเภทอินสแตนซ์และจำนวนอินสแตนซ์เริ่มต้น

-การกำหนดค่าการปรับขนาดอัตโนมัติ: กำหนดนโยบายการปรับขนาดอัตโนมัติตามตัวชี้วัดที่ต้องการ (เช่นการใช้งาน CPU) สิ่งนี้ทำให้มั่นใจได้ว่าจุดสิ้นสุดจะปรับขนาดแบบไดนามิกเพื่อตอบสนองต่อการเปลี่ยนแปลงของเวิร์กโหลด

- การตรวจสอบและการเพิ่มประสิทธิภาพ: ตรวจสอบประสิทธิภาพของจุดสิ้นสุดอย่างต่อเนื่องและปรับนโยบายการปรับขนาดตามความจำเป็นเพื่อรักษาประสิทธิภาพและประสิทธิภาพด้านต้นทุนที่ดีที่สุด

ประโยชน์ของการปรับขนาดอัตโนมัติสำหรับ Deepseek-R1

- ประสิทธิภาพด้านต้นทุน: โดยการปรับลดลงในช่วงที่มีความต้องการต่ำองค์กรสามารถลดค่าใช้จ่ายที่เกี่ยวข้องกับการใช้แบบจำลองภาษาขนาดใหญ่ได้อย่างมาก
- การตอบสนองที่ดีขึ้น: การปรับขนาดอัตโนมัติทำให้มั่นใจได้ว่าแบบจำลองยังคงตอบสนองแม้ภายใต้สภาวะโหลดสูงเพิ่มประสบการณ์ผู้ใช้
- การจัดการที่ง่ายขึ้น: โครงสร้างพื้นฐานที่มีการจัดการของ Sagemaker ทำให้กระบวนการปรับใช้และการปรับขนาดง่ายขึ้นทำให้นักพัฒนาสามารถมุ่งเน้นการพัฒนาแบบจำลองและการรวมแอปพลิเคชันมากกว่าการจัดการโครงสร้างพื้นฐาน

โดยรวมแล้วการปรับขนาดอัตโนมัติสำหรับรุ่น Deepseek-R1 ใน Sagemaker เป็นวิธีที่แข็งแกร่งและมีประสิทธิภาพในการปรับใช้โมเดลภาษาขั้นสูงเพื่อให้แน่ใจว่าพวกเขาสามารถจัดการกับปริมาณงานที่แตกต่างกันในขณะที่ยังคงประสิทธิภาพสูงและคุ้มค่า

การอ้างอิง:
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[2] https://blogs.cisco.com/security/evaluating-security-risk-in-deepseek-and-other-frontier-reasoning-models
[3] https://repost.aws/Question qxfgakl5nzbxut09iiwidci6ilfjbxdxdlptbtrgzknhzkvvprjlwsstza2hsmdgymutjwe1rdhkzse5snfk9in0
[4] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[5] https://www.byteplus.com/en/topic/383390
[6] https://repost.aws/Question AEHNTJH6NDY0DZ09IIWIDCI6INNVCUNVRMFIMFQ0OTLUC1V5MKFTAWJPWMJVTLKOFJMTTRXD3YVYZRTCMC9IN0
[7] https://www.oneclickitsolution.com/centerofexcellence/aiml/deploy-deepseek-r1-amazon-sagemaker-guide
[8] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[9] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en