Menyebarkan Deepseek-R1 pada AWS membutuhkan sumber daya GPU yang signifikan karena ukurannya yang besar dan tuntutan komputasinya. Berikut adalah persyaratan dan pertimbangan GPU spesifik untuk menggunakan model Deepseek-R1 di AWS:
1. Ukuran model dan persyaratan VRAM: Model Deepseek-R1 penuh memiliki 671 miliar parameter, yang membutuhkan VRAM substansial. Untuk dukungan FP8 asli, persyaratan VRAM adalah sekitar 700 GB. Namun, jika model dikonversi menjadi BF16 (yang didukung oleh GPU seperti NVIDIA A100), persyaratan VRAM meningkat menjadi sekitar 1,4 TB karena format presisi yang lebih tinggi [2] [4].
2. Konfigurasi GPU yang Disarankan: Untuk model Deepseek-R1 penuh, diperlukan pengaturan multi-GPU. Contoh AWS seperti `p4d.24xlarge` atau` p5.24xlarge`, yang dilengkapi dengan NVIDIA A100 GPU, cocok. Contoh-contoh ini memberikan VRAM yang diperlukan dan menghitung daya untuk model skala besar. Untuk perhitungan BF16, pengaturan dengan 16 NVIDIA A100 GPU (masing -masing dengan 80 GB VRAM) direkomendasikan [1] [2].
3. Opsi instan AWS: AWS menawarkan beberapa contoh yang dapat mendukung penyebaran model Deepseek-R1, termasuk `P4D.24XLarge` dan` P5.24XLARGE`. Contoh-contoh ini memberikan kemampuan komputasi berkinerja tinggi dengan NVIDIA A100 GPU, yang ideal untuk model AI skala besar seperti Deepseek-R1 [7].
4. Komputasi kuantisasi dan terdistribusi: Untuk mengurangi persyaratan VRAM dan meningkatkan efisiensi, teknik kuantisasi dapat diterapkan. Misalnya, menggunakan kuantisasi 4-bit dapat mengurangi kebutuhan VRAM secara signifikan, memungkinkan penempatan pada GPU yang lebih sedikit. Selain itu, kerangka kerja komputasi terdistribusi dapat digunakan untuk menyebarkan beban kerja di berbagai contoh, meningkatkan skalabilitas dan kinerja [4].
5. Persyaratan Komputasi dan Memori: Di luar persyaratan GPU, menggunakan Deepseek-R1 juga memerlukan memori CPU yang cukup dan sumber daya sistem secara keseluruhan. Contoh AWS dengan memori CPU yang cukup, seperti `g6e.4xlarge`, dapat mendukung kebutuhan komputasi tambahan dari model -model ini [6].
Singkatnya, menggunakan Deepseek-R1 pada AWS membutuhkan pengaturan GPU yang kuat, lebih disukai dengan NVIDIA A100 GPU, dan berpotensi memanfaatkan kuantisasi dan komputasi terdistribusi untuk mengoptimalkan pemanfaatan sumber daya.
Kutipan:
[1] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[2] https://www.theriseunion.com/en/blog/deepseek-v3-r1-671b-gpu-requirements.html
[3] https://www.byteplus.com/en/topic/385683
[4] https://apxml.com/posts/gpu-requirements-deepseek-r1
[5] https://www.youtube.com/watch?v=5rhpzgdogle
[6] https://community.databricks.com/t5/machine-learning/understanding-compute-requirements-for-deploying-deepseek-r1/td-p/109187
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[8] https://www.reddit.com/r/ollama/comments/1ifa93h/deepseek_r1_hardware_requirements_explained/