Deepseek menggunakan beberapa strategi untuk mencegah penurunan token selama pelatihan, terutama dalam arsitektur campuran-eksperta (MOE). Berikut adalah langkah -langkah kuncinya:
1. Strategi penurunan token: Deepseek menggunakan pendekatan penurunan token-bijaksana berdasarkan probabilitas perutean, mirip dengan model MOE konvensional. Ini berarti bahwa token dijatuhkan sesuai dengan skor mereka, memastikan bahwa hanya token yang paling tidak penting yang dibuang ketika jumlah token melebihi kapasitas tertentu. Kapasitas dihitung secara berbeda tergantung pada apakah fokusnya adalah pada dimensi ahli atau perangkat, yang membantu mengelola bagaimana token diproses oleh berbagai ahli atau perangkat secara efektif [1].
2. Token Token Penurunan Perangkat: Strategi ini terutama beroperasi di tingkat perangkat di mana semua skor ahli diurutkan, dan token dengan probabilitas terendah dijatuhkan. Ini memastikan bahwa setiap perangkat dapat mengelola bebannya tanpa membanjiri setiap ahli tunggal sambil tetap mempertahankan efisiensi kinerja keseluruhan [1].
3. Retensi Token Dijamin: Deepseek telah menerapkan strategi khusus untuk memastikan bahwa sekitar 10% token dari urutan pelatihan tidak akan pernah dibatalkan. Ini sangat penting untuk mempertahankan integritas data pelatihan dan memastikan bahwa informasi penting dipertahankan selama proses pelatihan [2] [6].
4. Load Balancing: Dalam versi terbarunya, Deepseek-V3, strategi penyeimbangan beban yang efektif digunakan yang menghilangkan kebutuhan akan penurunan token sama sekali selama pelatihan. Dengan menyesuaikan beban ahli secara dinamis dan memanfaatkan tujuan prediksi multi-token, Deepseek-V3 mempertahankan distribusi token yang seimbang di seluruh ahli, sehingga mencegah hilangnya data selama pelatihan [2].
Langkah -langkah ini mencerminkan komitmen Deepseek untuk mengoptimalkan proses pelatihannya sambil meminimalkan kehilangan data dan memaksimalkan efisiensi komputasi.
Kutipan:
[1] https://github.com/deepseek-ai/deepseek-v2/issues/5
[2] https://arxiv.org/html/2412.19437v1
[3] https://www.tradingview.com/news/financemagnates:c7148cfce094b:0-why-is-crypto-cover-down-fake-deepseek-tokens-fect-thouse-of-traders/
[4] https://planetbanatt.net/articles/deepseek.html
[5] https://www.financemagnates.com/cryptocurrency/why-is-crypto-down-fake-deepseek-tokens-evect-thous-f --fraders/
[6] https://arxiv.org/html/2405.04434v5
[7] https://www.binance.com/square/post/1957042115937
[8] https://community.openai.com/t/will-deepseek-r1-force-openai-to-reduce-token-prices/1097716