Saat menggunakan Deepseek-R1 pada AWS, persyaratan penyimpanan tidak secara eksplisit terperinci dalam hal layanan penyimpanan AWS tertentu. Namun, model itu sendiri membutuhkan ruang penyimpanan yang signifikan untuk bobotnya. Misalnya, model penuh Deepseek-R1 awalnya memiliki jejak sekitar 720GB, meskipun optimisasi dapat mengurangi ukuran ini secara signifikan, seperti turun hingga 131GB melalui teknik kuantisasi dan kompresi [3].
Untuk penyebaran AWS, Anda biasanya perlu mempertimbangkan aspek -aspek berikut:
1. Penyimpanan Model: Bobot model harus disimpan di lokasi yang dapat diakses oleh instance AWS Anda. Ini bisa dalam ember S3, yang biasanya digunakan untuk menyimpan kumpulan data besar dan file model. Biaya menyimpan model di S3 tergantung pada wilayah dan kelas penyimpanan yang digunakan (mis. Standar, standar-IA, satu zona-IA, dll.).
2. Penyimpanan instan: Saat menjalankan model pada instance EC2, Anda akan memerlukan penyimpanan yang cukup untuk sistem operasi, perangkat lunak tambahan apa pun yang diperlukan, dan penyimpanan sementara yang berpotensi untuk output model atau hasil perantara. Penyimpanan ini biasanya disediakan oleh volume akar instance atau volume EBS tambahan.
3. Penyimpanan Data untuk Inferensi: Jika Anda menggunakan model untuk tugas inferensi, Anda mungkin memerlukan penyimpanan tambahan untuk data input dan hasil output. Ini juga dapat dikelola melalui S3 atau layanan penyimpanan AWS lainnya seperti EBS atau volume toko instance.
Dalam hal layanan AWS spesifik, Amazon S3 sering digunakan untuk menyimpan bobot model karena skalabilitas dan keandalannya. Untuk menjalankan model, instance Amazon EC2 biasanya digunakan, dengan kebutuhan penyimpanan tergantung pada jenis instance dan konfigurasi. Untuk penyebaran skala besar, Amazon Sagemaker juga dapat digunakan, yang menyediakan lingkungan yang dikelola untuk tugas-tugas pembelajaran mesin, termasuk penyimpanan model dan inferensi.
Untuk pertimbangan biaya, biaya penyimpanan dalam AWS tergantung pada layanan spesifik yang digunakan. Misalnya, biaya penyimpanan S3 bervariasi berdasarkan kelas penyimpanan dan wilayah, sementara biaya instance EC2 mencakup komponen komputasi dan penyimpanan. Selain itu, menggunakan layanan seperti Sagemaker dapat menyederhanakan pengelolaan biaya ini dengan menyediakan lingkungan yang dikelola untuk tugas ML.
Kutipan:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4.
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fly-managed-generally-vailable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hostting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-fly-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops