Deepseek-V3 menggunakan pelatihan presisi campuran FP8 untuk secara signifikan meningkatkan kinerjanya, terutama dalam hal efisiensi, kecepatan, dan pemanfaatan memori. Pendekatan ini menggunakan bilangan titik mengambang 8-bit, yang memungkinkan pengurangan substansial dalam konsumsi memori kira-kira mengurangi separuh persyaratan dibandingkan dengan presisi FP16. Akibatnya, Deepseek dapat beroperasi secara efektif pada GPU yang lebih sedikit sambil mempertahankan tingkat akurasi yang tinggi selama pelatihan [1] [4] [9].
Dampak utama dari pelatihan presisi campuran FP8
1. Peningkatan efisiensi: Dengan memanfaatkan presisi FP8, Deepseek-V3 mencapai efisiensi pelatihan yang luar biasa. Fase pra-pelatihan model hanya membutuhkan sekitar 2,788 juta jam GPU, diterjemahkan ke biaya sekitar $ 5,576 juta secara signifikan lebih rendah daripada model yang sebanding [2] [7] [9].
2. Kecepatan pemrosesan yang dipercepat: Adopsi FP8 memungkinkan perhitungan yang lebih cepat dengan mengurangi ukuran data yang perlu diproses. Akselerasi ini selanjutnya dilengkapi dengan algoritma dualpipe, yang mengoptimalkan paralelisme pipa dengan fase perhitungan dan komunikasi yang tumpang tindih, meminimalkan waktu idle untuk GPU [1] [3] [7].
3. Skalabilitas: Jejak memori yang dikurangi memungkinkan Deepseek-V3 untuk menangani kumpulan data yang lebih besar dan arsitektur model yang lebih luas tanpa menimbulkan biaya komputasi tambahan. Skalabilitas ini sangat penting untuk mengembangkan model bahasa canggih yang memerlukan pemrosesan sejumlah besar data secara efisien [1] [4].
4. Kinerja model yang ditingkatkan: Integrasi pelatihan presisi campuran FP8 tidak membahayakan akurasi model. Sebaliknya, ini meningkatkan kemampuan model untuk menghasilkan output yang koheren dan relevan secara kontekstual melalui teknik seperti prediksi multi-token (MTP), yang melatih model untuk mengantisipasi beberapa token secara bersamaan [1] [3] [9]. Kemampuan ini sangat bermanfaat untuk tugas-tugas linguistik yang kompleks dan penalaran multi-langkah.
Singkatnya, pelatihan presisi campuran FP8 adalah landasan arsitektur Deepseek-V3, memungkinkannya untuk mencapai kinerja tinggi dengan berkurangnya persyaratan sumber daya sambil mempertahankan akurasi dan skalabilitas di berbagai aplikasi dalam pengembangan AI.
Kutipan:[1] https://ithy.com/article/deepseek-v3-progress-in-language-models-huyq64wk
[2] https://opentools.ai/news/deepseeks-breakthrough-a-new-era-for-ai-with-less-compute-power
[3] https://arxiv.org/html/2412.19437v1
[4] https://www.linkedin.com/pulse/deepseek-revolutionizing-ai-open-source-cheasoning-20-ramachandran-xakme
[5] https://huggingface.co/deepseek-ai/deepseek-v3
[6] https://arxiv.org/pdf/2412.19437.pdf
[7] https://adasci.org/deepseek-v3-Explained-optimizing-eficiency-and-sale/
[8] https://stratechery.com/2025/deepseek-faq/
[9] https://guptadeepak.com/deepseek-revolutionizing-ai-with-eficiency-inovation-and-fordability/
[10] https://docs.nvidia.com/deEplearning/transformer-engine/user-guide/examples/fp8_primer.html