Khi triển khai DeepSeek-R1 trên AWS, các yêu cầu lưu trữ không được chi tiết rõ ràng về các dịch vụ lưu trữ AWS cụ thể. Tuy nhiên, bản thân mô hình đòi hỏi không gian lưu trữ đáng kể cho trọng lượng của nó. Ví dụ, mô hình Deepseek-R1 đầy đủ ban đầu có dấu chân khoảng 720 GB, mặc dù tối ưu hóa có thể giảm kích thước này đáng kể, chẳng hạn như xuống 131GB thông qua các kỹ thuật lượng tử hóa và nén [3].
Đối với triển khai AWS, bạn thường cần xem xét các khía cạnh sau:
1. Lưu trữ mô hình: Trọng lượng mô hình cần được lưu trữ trong một vị trí có thể truy cập bằng các trường hợp AWS của bạn. Điều này có thể nằm trong một thùng S3, thường được sử dụng để lưu trữ các bộ dữ liệu lớn và các tệp mô hình. Chi phí lưu trữ mô hình trong S3 phụ thuộc vào khu vực và lớp lưu trữ được sử dụng (ví dụ: tiêu chuẩn, tiêu chuẩn-IA, một vùng-IA, v.v.).
2. Lưu trữ ví dụ: Khi chạy mô hình trên các phiên bản EC2, bạn sẽ cần lưu trữ đầy đủ cho hệ điều hành, bất kỳ phần mềm bổ sung nào được yêu cầu và lưu trữ tạm thời có khả năng cho đầu ra mô hình hoặc kết quả trung gian. Lưu trữ này thường được cung cấp bởi khối lượng gốc của thể hiện hoặc khối lượng EBS bổ sung.
3. Điều này cũng có thể được quản lý thông qua S3 hoặc các dịch vụ lưu trữ AWS khác như EBS hoặc khối lượng lưu trữ thể hiện.
Về mặt dịch vụ AWS cụ thể, Amazon S3 thường được sử dụng để lưu trữ các trọng số mô hình do khả năng mở rộng và độ tin cậy của nó. Để chạy mô hình, các phiên bản Amazon EC2 thường được sử dụng, với nhu cầu lưu trữ tùy thuộc vào loại thể hiện và cấu hình. Đối với các triển khai quy mô lớn, Amazon Sagemaker cũng có thể được sử dụng, cung cấp một môi trường được quản lý cho các nhiệm vụ học máy, bao gồm lưu trữ và suy luận mô hình.
Để xem xét chi phí, chi phí lưu trữ trong AWS phụ thuộc vào các dịch vụ cụ thể được sử dụng. Ví dụ, chi phí lưu trữ S3 khác nhau dựa trên lớp lưu trữ và khu vực, trong khi chi phí thể hiện EC2 bao gồm cả các thành phần tính toán và lưu trữ. Ngoài ra, sử dụng các dịch vụ như Sagemaker có thể đơn giản hóa việc quản lý các chi phí này bằng cách cung cấp môi trường được quản lý cho các nhiệm vụ ML.
Trích dẫn:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/elfhosted
.
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fully-managed-generally-available
.
[7] https://repost.aws/questions/QU-hcixrtFSaSoKH8GL-KogA/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2Z6DlAohx12yuNoEAs7qb5YTH0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2sEuHQlpyIFSwCkzmx585JckSgN/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
.
[11] https://vagon