Deepseek, startup AI Cina yang berkembang pesat, menggunakan beberapa strategi untuk secara efektif mengelola permintaan token skala besar, terutama melalui model terbarunya, Deepseek-V3. Model ini menggunakan arsitektur campuran (MOE), yang memungkinkannya untuk secara selektif mengaktifkan subset parameter untuk setiap token yang diproses. Secara khusus, Deepseek-V3 memiliki total 671 miliar parameter, tetapi hanya 37 miliar yang diaktifkan untuk setiap token selama inferensi. Desain ini secara signifikan meningkatkan efisiensi komputasi dibandingkan dengan model padat tradisional, di mana semua parameter terlibat untuk setiap permintaan [1] [4].
Untuk lebih mengoptimalkan kinerja, Deepseek-V3 mengimplementasikan strategi penyeimbangan beban yang efektif selama proses pelatihan dan inferensi. Pendekatan ini memastikan bahwa tidak ada token yang dijatuhkan selama kedua fase. Model ini mempertahankan keseimbangan beban yang baik dengan memanfaatkan mekanisme perutean terbatas yang membatasi biaya komunikasi dan memungkinkan tumpang tindih komputasi-komunikasi yang hampir penuh. Akibatnya, Deepseek-V3 dapat menangani volume tinggi permintaan token tanpa mengorbankan kinerja atau keandalan [2] [4].
Dalam hal pelatihan, Deepseek-V3 pra-terlatih pada dataset luas yang terdiri dari 14,8 triliun token, diikuti oleh tahap-tahap penyelesaian penyempurnaan dan penguatan yang diawasi untuk memperbaiki kemampuannya. Proses pelatihan dirancang untuk stabil dan efisien, diselesaikan dalam waktu kurang dari dua bulan dengan total biaya sekitar $ 5,576 juta dalam jam GPU [1] [2]. Penggunaan sumber daya yang efisien ini memungkinkan Deepseek untuk skala secara efektif sambil mengelola permintaan token skala besar di seluruh layanannya.
Secara keseluruhan, arsitektur inovatif Deepseek dan pendekatan strategis memungkinkannya untuk menangani permintaan token yang substansial secara efisien, menjadikannya pemain kompetitif dalam lanskap AI.
Kutipan:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3.
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-explained-everything-you-need-to-now
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-garge-scale-cyberattack-says-its-limiting-registrations.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-now-about-this-new-llm-in-one-place