การเพิ่มประสิทธิภาพการทำงานของ Deepseek-R1 ใน AWS โดยใช้อินสแตนซ์ GPU เกี่ยวข้องกับกลยุทธ์สำคัญหลายประการ:
1. การเลือกอินสแตนซ์ GPU ที่ถูกต้อง **
เพื่อประสิทธิภาพที่ดีที่สุดด้วย DeepSeek-R1 มันเป็นสิ่งสำคัญในการเลือกประเภทอินสแตนซ์ที่ใช้ GPU ที่ให้หน่วยความจำและพลังงานคำนวณที่เพียงพอ ขอแนะนำให้ใช้ Ml.p5e.48xlarge อย่างมากเนื่องจากมาพร้อมกับ 8 Nvidia H200 GPUs ซึ่งมีหน่วยความจำ GPU 1128 GB ซึ่งเป็นสิ่งจำเป็นสำหรับการจัดการโมเดลขนาดใหญ่เช่น Deepseek-R1 [9] อินสแตนซ์อื่น ๆ เช่น ML.G6E.12XLARGE และ ML.G6E.48XLARGE ยังแสดงประสิทธิภาพที่ยอดเยี่ยมสำหรับรุ่นกลั่น DEEPSEEK-R1 ที่หลากหลาย [1]2. รุ่นที่ให้ความสำคัญกับ GPU **
เมื่อใช้อินสแตนซ์ที่มี GPU หลายตัวการจัดทำโมเดลใน GPU ที่มีอยู่ทั้งหมดสามารถปรับปรุงประสิทธิภาพได้อย่างมีนัยสำคัญ สิ่งนี้ช่วยให้โมเดลสามารถกระจายและประมวลผลแบบขนานเพิ่มปริมาณงานและลดเวลาแฝง [1]3. การกำหนดค่าการกำหนดค่าโมเดลการเพิ่มประสิทธิภาพ **
การใช้คอนเทนเนอร์การอนุมานแบบจำลองขนาดใหญ่ (LMI) พร้อมพารามิเตอร์ที่ได้รับการปรับปรุงให้ดีที่สุดสามารถช่วยในการบรรลุประสิทธิภาพที่ดีขึ้น ตัวอย่างเช่นการตั้งค่า `max_model_len` เป็นค่าที่เหมาะสมสามารถช่วยให้มั่นใจได้ว่าการจัดการลำดับอินพุตยาวอย่างมีประสิทธิภาพโดยไม่ต้องใช้ chunking หรือการแคชคำนำหน้า [1]4. ขนาดพร้อมกันและขนาดแบทช์ **
การเพิ่มขึ้นพร้อมกันและการใช้ขนาดแบทช์ที่ใหญ่ขึ้นสามารถปรับปรุงปริมาณงานได้โดยเฉพาะอย่างยิ่งในสถานการณ์การอนุมานแบบเรียลไทม์ อย่างไรก็ตามสิ่งสำคัญคือต้องสร้างความสมดุลให้กับทรัพยากรที่มีอยู่เพื่อหลีกเลี่ยงการโอเวอร์โหลดอินสแตนซ์ [1]5. การเพิ่มประสิทธิภาพซอฟต์แวร์ **
การใช้การปรับให้เหมาะสมกับซอฟต์แวร์ที่มีอยู่ในเฟรมเวิร์กเช่น Nvidia NIM สามารถเพิ่มประสิทธิภาพได้ การปรับให้เหมาะสมเหล่านี้สามารถทำให้การปรับใช้ง่ายขึ้นและให้แน่ใจว่ามีประสิทธิภาพสูงในระบบ ATHIC AI [4]6. การตรวจสอบและทดสอบ **
ทำการทดสอบอย่างละเอียดด้วยชุดข้อมูลเฉพาะและรูปแบบการรับส่งข้อมูลเพื่อระบุการกำหนดค่าที่ดีที่สุดสำหรับกรณีการใช้งานของคุณ ซึ่งรวมถึงการประเมินเวลาแฝงแบบ end-to-end, ปริมาณงาน, เวลาไปยังโทเค็นแรกและเวลาแฝงระหว่าง token [1]7. ประสิทธิภาพต้นทุน **
ในขณะที่มุ่งเน้นไปที่ประสิทธิภาพให้พิจารณาประสิทธิภาพด้านต้นทุนโดยใช้ประโยชน์จากแผนการออมหรืออินสแตนซ์สำหรับงานที่ไม่ใช่เวลาจริง สิ่งนี้สามารถช่วยสร้างสมดุลระหว่างความต้องการประสิทธิภาพด้วยข้อ จำกัด ด้านงบประมาณ [3]ด้วยการใช้กลยุทธ์เหล่านี้คุณสามารถเพิ่มประสิทธิภาพการทำงานของ Deepseek-R1 ได้อย่างมีประสิทธิภาพใน AWS โดยใช้อินสแตนซ์ GPU
การอ้างอิง:
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[2] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[3] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-batch-inference-on-aws-raviton4?lang=
[4] https://blogs.nvidia.com/blog/deepseek-r1-nim-microservice/
[5] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[6] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops
[7] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[8] https://www.reddit.com/r/aws/comments/1i8v9w5/scalable_deepseek_r1/
[9] https://aws.amazon.com/blogs/machine-learning/deepseek-r1-model-now-available-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/
[10] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en