Pilihan jenis instance secara signifikan mempengaruhi biaya menjalankan Deepseek-R1 pada platform cloud seperti AWS. Berikut adalah rincian terperinci tentang bagaimana berbagai jenis instance dan konfigurasi memengaruhi biaya:
1. Jenis instance dan harga:
- AWS: Biaya menjalankan Deepseek-R1 pada AWS tergantung pada jenis instance yang dipilih. Misalnya, menggunakan instance ML.G5.2XLarge memberikan keseimbangan kinerja dan biaya yang baik untuk tugas inferensi skala besar [4]. Namun, untuk perhitungan yang lebih intensif, contoh yang lebih besar seperti C8G.16XLarge di AWS Graviton4 dapat digunakan, yang harganya sekitar $ 1.863 per bulan di bawah harga sesuai permintaan [6]. Ini dapat dikurangi dengan rencana tabungan EC2 atau instance spot, menawarkan diskon signifikan untuk tugas inferensi batch.
2. Optimalisasi Kinerja dan Biaya:
-Batch vs Inferensi Real-Time: Untuk inferensi skala besar, menggunakan ukuran batch yang lebih besar dapat mengoptimalkan biaya dan kinerja. Transformasi batch untuk inferensi offline lebih lanjut mengurangi biaya dengan memproses data dalam jumlah besar daripada secara real-time [4].
- Contoh SPOT: Memanfaatkan instance spot dapat menawarkan diskon hingga 90% dibandingkan dengan harga sesuai permintaan, membuatnya ideal untuk pemrosesan batch di mana gangguan dapat dikelola [6].
3. Pertimbangan Perangkat Keras:
- GPU vs. CPU: Sementara GPU seperti NVIDIA H100 sangat kuat, harganya mahal. Menggunakan CPU dengan RAM yang cukup, terutama untuk model seperti Deepseek-R1 yang menggunakan arsitektur campuran ahli (MOE), bisa lebih hemat biaya [8].
-Penyedia alternatif: Mempertimbangkan node AMD MI300 pada Azure atau penyedia cloud Tier 2 mungkin menawarkan rasio kinerja biaya yang lebih baik dibandingkan dengan konfigurasi GPU kelas atas [8].
4. Strategi Pengurangan Biaya:
-Instance yang dipesan: Berkomitmen pada instance yang dipesan dapat memberikan diskon yang signifikan atas harga sesuai permintaan untuk penggunaan jangka panjang.
- Penskalaan Otomatis: Mixing Spot Instance dengan instance sesuai permintaan melalui penskalaan otomatis dapat menyeimbangkan ketersediaan dan biaya.
-Model harga yang dioptimalkan: Beberapa penyedia menawarkan harga per token, yang bisa lebih hemat biaya untuk kebutuhan AI intermiten dibandingkan dengan membayar sumber daya komputasi [1].
Singkatnya, pilihan jenis instance mempengaruhi biaya dengan mempengaruhi keseimbangan antara kinerja dan konsumsi sumber daya. Mengoptimalkan pemilihan instance berdasarkan persyaratan beban kerja tertentu, memanfaatkan strategi penghematan biaya seperti instance spot, dan mempertimbangkan opsi perangkat keras alternatif dapat secara signifikan mengurangi biaya keseluruhan dalam menjalankan Deepseek-R1.
Kutipan:
[1] https://campustechnology.com/articles/2025/02/04/aws-microsoft-google-others-make-deepseek-r1-ai-model-available-on-tleir-platforms.aspx?admgarea=news
[2] https://www.linkedin.com/posts/zhu-liang_deepseek-r1-is-better-and-cheer-wrong-activity-7288814972271280128-vuyu
[3] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-than-o3-when-inference-cost
[4.
[5] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-catcer-on-aws-graviton4?Lang=en
[7] https://www.reddit.com/r/localllama/comments/1ibm5u3/how_can_we_be_so_sure_the_train_of_deepseek_r1/
[8] https://www.reddit.com/r/localllama/comments/1icukfm/running_deepseek_r1_on_aws_cost_hardware/