การสร้างความมั่นใจว่าการปรับขนาดของ Deepseek-R1 ใน AWS นั้นเกี่ยวข้องกับกลยุทธ์หลายอย่างที่ใช้ประโยชน์จากโครงสร้างพื้นฐานและบริการที่แข็งแกร่งของ AWS นี่คือคำแนะนำโดยละเอียดเกี่ยวกับวิธีการบรรลุความสามารถในการปรับขนาด:
1. ใช้ Amazon Bedrock สำหรับการปรับใช้แบบไม่มีเซิร์ฟเวอร์ **
Amazon Bedrock นำเสนอสภาพแวดล้อมที่มีการจัดการและไม่มีเซิร์ฟเวอร์อย่างเต็มที่สำหรับการปรับใช้รุ่น Deepseek-R1 บริการนี้จัดการการปรับขนาดโดยอัตโนมัติไม่จำเป็นต้องจัดการโครงสร้างพื้นฐานด้วยตนเอง คุณสามารถนำเข้าโมเดล Deepseek-R1 ของคุณไปยังข้อเท็จจริงจาก Amazon S3 หรืออเมซอน Sagemaker AI Model Repository วิธีการนี้ให้ความปลอดภัยระดับองค์กรและความสามารถในการปรับขนาดโดยไม่ต้องติดตั้งทางเทคนิคหรือการบำรุงรักษาอย่างกว้างขวาง [4] [11]2. ใช้ประโยชน์จาก Amazon Sagemaker สำหรับการปรับแต่งและการฝึกอบรม **
For more control over the deployment and customization of DeepSeek-R1 models, Amazon SageMaker is ideal. Sagemaker ช่วยให้คุณฝึกอบรมปรับแต่งและปรับใช้แบบจำลองด้วยการเข้าถึงโครงสร้างพื้นฐานพื้นฐาน คุณสามารถใช้คอนเทนเนอร์การอนุมานแบบจำลองขนาดใหญ่ของ Sagemaker เพื่อเพิ่มประสิทธิภาพและค่าใช้จ่ายสำหรับงานการอนุมานขนาดใหญ่ [9]3. ใช้ amazon ec2 สำหรับโครงสร้างพื้นฐานที่กำหนดเอง **
หากคุณต้องการวิธีการแบบดั้งเดิมมากขึ้นในการควบคุมโครงสร้างพื้นฐาน Amazon EC2 เป็นตัวเลือกที่ดี คุณสามารถปรับใช้โมเดล Deepseek-R1 ในอินสแตนซ์ EC2 เช่น `g4dn.xlarge` หรืออินสแตนซ์` trn1` ซึ่งได้รับการปรับให้เหมาะสมสำหรับเวิร์กโหลด GPU วิธีนี้ต้องการการตั้งค่าและการจัดการโครงสร้างพื้นฐานด้วยตัวเอง แต่ให้ความยืดหยุ่นในแง่ของประเภทอินสแตนซ์และการกำหนดค่า [1] [7]4. ใช้การปรับขนาดอัตโนมัติด้วย API Gateway และ EKS **
สำหรับสถาปัตยกรรมที่ปรับขนาดได้สูงให้พิจารณาใช้ API Gateway เป็นจุดเริ่มต้นสำหรับการโทร API สิ่งนี้จะช่วยจัดการการรับส่งข้อมูลและให้คุณสมบัติเช่นการ จำกัด อัตราและความปลอดภัย รวมสิ่งนี้เข้ากับ Amazon Elastic Kubernetes Service (EKS) เพื่อขยายแอพพลิเคชั่นคอนเทนเนอร์ของคุณตามความต้องการ EKS อนุญาตให้ใช้ทรัพยากรที่มีประสิทธิภาพและการจัดการแบบจำลองการเรียนรู้ของเครื่องได้ง่ายขึ้น [10]5. ตรวจสอบและเพิ่มประสิทธิภาพประสิทธิภาพ **
ใช้ Amazon CloudWatch สำหรับการตรวจสอบตัวชี้วัดประสิทธิภาพและค่าใช้จ่ายในการเพิ่มประสิทธิภาพ สำหรับการอนุมานขนาดใหญ่ให้ใช้ขนาดแบทช์ขนาดใหญ่เพื่อเพิ่มประสิทธิภาพต้นทุนและประสิทธิภาพ พิจารณาใช้การแปลงแบทช์สำหรับการอนุมานแบบออฟไลน์ปริมาณมากเพื่อลดต้นทุน [9]6. ตรวจสอบความปลอดภัยและการปฏิบัติตาม **
กำหนดค่าการตั้งค่าความปลอดภัยขั้นสูงเช่นเครือข่าย Virtual Private Cloud (VPC) การอนุญาตบทบาทการบริการและการตั้งค่าการเข้ารหัส Amazon Bedrock และ Sagemaker ให้คุณสมบัติความปลอดภัยระดับองค์กรเพื่อรักษาความเป็นส่วนตัวของข้อมูลและการปฏิบัติตามกฎระเบียบ [9] [11]7. ใช้รูปแบบการกำหนดราคาที่ประหยัดต้นทุน **
AWS นำเสนอรูปแบบการกำหนดราคาที่คุ้มค่าตามการใช้งาน สำหรับรุ่นที่เปิดเผยต่อสาธารณะเช่น Deepseek-R1 คุณจะถูกเรียกเก็บเงินสำหรับโครงสร้างพื้นฐานที่ใช้เท่านั้น ด้วยการนำเข้าแบบจำลองที่กำหนดเองของ Amazon Bedrock คุณจะถูกเรียกเก็บเงินตามสำเนาโมเดลที่ใช้งานอยู่ซึ่งเรียกเก็บในหน้าต่าง 5 นาที [7]ด้วยการใช้กลยุทธ์เหล่านี้คุณสามารถมั่นใจได้ว่าการปรับใช้ DeepSeek-R1 ของคุณใน AWS นั้นสามารถปรับขนาดได้ปลอดภัยและคุ้มค่า
การอ้างอิง:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/32
[3] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import/
[5] https://www.youtube.com/watch?v=1AQ_JU70QHQ
[6] https://www.byteplus.com/en/topic/409076
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[8] https://www.reddit.com/r/aws/comments/1ics9sf/how_to_deploy_deepseek_r1_on_eks/
[9] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[10] https://www.reddit.com/r/aws/comments/1i8v9w5/scalable_deepseek_r1/
[11] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fuly-managed-generally-available
[12] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/