เมื่อปรับใช้ Deepseek-R1 บน AWS ข้อกำหนดการจัดเก็บจะไม่มีรายละเอียดอย่างชัดเจนในแง่ของบริการจัดเก็บ AWS เฉพาะ อย่างไรก็ตามตัวแบบเองต้องการพื้นที่เก็บข้อมูลที่สำคัญสำหรับน้ำหนัก ตัวอย่างเช่นรุ่น Deepseek-R1 เต็มรูปแบบเดิมมีรอยเท้าประมาณ 720GB แม้ว่าการปรับให้เหมาะสมสามารถลดขนาดนี้ได้อย่างมีนัยสำคัญเช่นลดลงถึง 131GB ผ่านเทคนิคการวัดปริมาณและการบีบอัด [3]
สำหรับการปรับใช้ AWS โดยทั่วไปคุณจะต้องพิจารณาแง่มุมดังต่อไปนี้:
1. การจัดเก็บโมเดล: น้ำหนักรุ่นต้องเก็บไว้ในตำแหน่งที่สามารถเข้าถึงได้โดยอินสแตนซ์ AWS ของคุณ นี่อาจเป็นในถัง S3 ซึ่งใช้กันทั่วไปสำหรับการจัดเก็บชุดข้อมูลขนาดใหญ่และไฟล์รุ่น ค่าใช้จ่ายในการจัดเก็บโมเดลใน S3 ขึ้นอยู่กับภูมิภาคและคลาสที่เก็บข้อมูลที่ใช้ (เช่นมาตรฐาน, มาตรฐาน -IA, หนึ่งโซน -IA ฯลฯ )
2. การจัดเก็บอินสแตนซ์: เมื่อเรียกใช้โมเดลบนอินสแตนซ์ EC2 คุณจะต้องมีที่เก็บข้อมูลที่เพียงพอสำหรับระบบปฏิบัติการซอฟต์แวร์เพิ่มเติมใด ๆ ที่จำเป็นและการจัดเก็บชั่วคราวที่อาจเกิดขึ้นสำหรับเอาต์พุตโมเดลหรือผลลัพธ์ระดับกลาง โดยทั่วไปที่เก็บข้อมูลนี้จัดทำโดยปริมาณรูทของอินสแตนซ์หรือปริมาณ EBS เพิ่มเติม
3. การจัดเก็บข้อมูลสำหรับการอนุมาน: หากคุณใช้โมเดลสำหรับงานการอนุมานคุณอาจต้องใช้ที่เก็บข้อมูลเพิ่มเติมสำหรับข้อมูลอินพุตและผลลัพธ์เอาต์พุต นอกจากนี้ยังสามารถจัดการผ่าน S3 หรือบริการจัดเก็บ AWS อื่น ๆ เช่น EBS หรือ Instance Store Volumes
ในแง่ของบริการ AWS ที่เฉพาะเจาะจง Amazon S3 มักจะใช้สำหรับการจัดเก็บน้ำหนักรุ่นเนื่องจากความสามารถในการปรับขนาดและความน่าเชื่อถือ สำหรับการเรียกใช้โมเดลอินสแตนซ์ของ Amazon EC2 นั้นมักใช้กับความต้องการการจัดเก็บขึ้นอยู่กับประเภทอินสแตนซ์และการกำหนดค่า สำหรับการปรับใช้ขนาดใหญ่สามารถใช้ Amazon Sagemaker ซึ่งให้สภาพแวดล้อมที่มีการจัดการสำหรับงานการเรียนรู้ของเครื่องรวมถึงการจัดเก็บแบบจำลองและการอนุมาน
สำหรับการพิจารณาค่าใช้จ่ายค่าจัดเก็บข้อมูลใน AWS ขึ้นอยู่กับบริการเฉพาะที่ใช้ ตัวอย่างเช่นค่าใช้จ่ายในการจัดเก็บ S3 นั้นแตกต่างกันไปตามระดับการจัดเก็บและภูมิภาคในขณะที่ค่าใช้จ่ายอินสแตนซ์ EC2 รวมถึงส่วนประกอบการคำนวณและการจัดเก็บ นอกจากนี้การใช้บริการเช่น Sagemaker สามารถทำให้การจัดการค่าใช้จ่ายเหล่านี้ง่ายขึ้นโดยการจัดหาสภาพแวดล้อมที่มีการจัดการสำหรับงาน ML
การอ้างอิง:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fuly-managed-generally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/Qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops