Saat mempertimbangkan biaya pemeliharaan jangka panjang untuk menjalankan Deepseek di tempat versus di cloud, beberapa faktor ikut berperan. Berikut ini rincian biaya yang terkait dengan setiap pendekatan:
Penempatan di tempat
** Investasi awal: Penyebaran di tempat membutuhkan pengeluaran modal di muka yang signifikan untuk infrastruktur komputasi berkinerja tinggi, termasuk GPU yang kuat, penyimpanan berkecepatan tinggi, dan jaringan yang kuat. Investasi awal ini dapat menjadi substansial, karena model R1 Deepseek menuntut perangkat keras kelas atas, berpotensi melibatkan biaya yang mirip dengan yang terkait dengan pelatihan model AI skala besar, yang dapat mencapai miliaran dolar [4].
** Biaya yang sedang berlangsung:
- Pemeliharaan Perangkat Keras: Pemeliharaan rutin perangkat keras sangat penting untuk memastikan kinerja dan umur panjang yang optimal. Ini termasuk mengganti suku cadang, sistem peningkatan, dan melakukan diagnostik, yang bisa mahal dan memakan waktu [2].
- Konsumsi energi: Menjalankan perangkat keras berkinerja tinggi secara terus menerus menghasilkan biaya energi yang signifikan. Namun, fokus Deepseek pada efisiensi energi dapat membantu mengurangi pengeluaran ini, dengan sistem yang mengonsumsi listrik hingga 30% lebih sedikit daripada pengaturan yang sebanding [5].
- Dukungan TI: Memiliki tim TI yang berdedikasi sangat penting untuk mengelola dan mempertahankan infrastruktur di tempat, menambah biaya personel [3].
** Penghematan jangka panjang: Meskipun biaya awal dan berkelanjutan, penyebaran di tempat dapat menawarkan penghematan biaya jangka panjang jika infrastruktur digunakan secara efisien. Misalnya, menghindari biaya cloud yang berulang dapat bermanfaat bagi organisasi dengan beban kerja volume tinggi yang konsisten [3].
Penempatan Cloud
** Investasi awal: Penyebaran cloud biasanya tidak memerlukan pembelian perangkat keras di muka, membuatnya lebih mudah diakses untuk bisnis dengan modal awal yang terbatas. Sebaliknya, biaya didasarkan pada penggunaan, memberikan fleksibilitas dan skalabilitas [3].
** Biaya yang sedang berlangsung:
- Biaya cloud: Biaya utama yang berkelanjutan adalah biaya layanan cloud, yang dapat bervariasi berdasarkan penggunaan. Meskipun model ini menawarkan fleksibilitas, itu bisa menjadi mahal untuk pengguna volume tinggi dari waktu ke waktu [3].
- Infrastruktur yang dikelola: Penyedia cloud sering menangani pemeliharaan dan pembaruan, mengurangi kebutuhan untuk dukungan TI in-house. Namun, kenyamanan ini datang dengan biaya, karena pengguna membayar untuk infrastruktur yang dikelola [3].
** Pertimbangan Jangka Panjang: Penyebaran cloud umumnya lebih cocok untuk bisnis dengan beban kerja yang berfluktuasi atau mereka yang lebih memilih model bayar-as-you-go. Namun, untuk organisasi dengan penggunaan volume tinggi yang konsisten, penyebaran di tempat mungkin lebih hemat biaya dalam jangka panjang jika mereka dapat mengelola dan memanfaatkan infrastruktur mereka secara efisien [9].
Singkatnya, penyebaran di tempat menawarkan potensi penghematan biaya jangka panjang tetapi membutuhkan investasi dimuka yang signifikan dan biaya pemeliharaan yang berkelanjutan. Penyebaran cloud memberikan fleksibilitas dan skalabilitas tetapi bisa lebih mahal untuk pengguna volume tinggi dari waktu ke waktu. Pilihan antara di tempat dan cloud tergantung pada kebutuhan spesifik organisasi, konsistensi beban kerja, dan sumber daya yang tersedia.
Kutipan:
[1] https://www.bardeen.ai/answers/how-much-does-deepseek-cost
[2] https://toolhunt.io/deepseek-r1-budgeting-challenges-t-on-premise-deployments/
[3] https://www.oneclickitsolution.com/centerofexcellence/aiml/on-premises-vs-cloud-hostting-llms-deepseek-r1-comparison
[4] https://9meters.com/technology/ai/deepseeks-6-million-cost-debunked-as-real-cost-closer-to-1-6-bilion-dan-an-estimated-50000-gpus-use
[5] https://redresscompliance.com/10-reasons-why-deepseek-hardware-and-technology-is-lower-cost-than-other-ai-providers/
[6] https://e42.ai/deepseek-eficiency/
[7] https://www.reddit.com/r/wallstreetbets/comments/1icdu1d/deepseek_training_cost_the_95_mil_difference/
[8] https://www.gptbots.ai/blog/deepseek-enterprise-on-premise
[9] https://www.linkedin.com/pulse/next-stage-gen-ai-llms-merging-cloud-vs-on-premise-chakravarthy-fz9qc