Jakie są główne różnice między Deepseek-V3 i Deepseek-V2

Kluczowe różnice

1. Architektura i parametry
-Deepseek-V3 ma architekturę mieszanki ekspertów (MOE) z łączną liczbą 671 miliardów parametrów, aktywujących zaledwie 37 miliardów na token. Ten projekt optymalizuje użycie zasobów przy jednoczesnym zachowaniu wysokiej wydajności [1] [3].
- Natomiast DeepSeek-V2 wykorzystał również ramę MOE, ale z mniejszą liczbą parametrów i mniej wydajnymi strategiami równoważenia obciążenia, co prowadzi do wyższego kosztów komunikacji podczas szkolenia [2].

2. Innowacje równoważenia obciążenia
-DeepSeek-V3 stosuje strategię równoważenia obciążenia wolnego od obciążenia, która poprawia wydajność modelu bez tradycyjnych wad związanych z równoważeniem obciążenia w architekturach MOE. Ta innowacja zapewnia, że ​​wszystkie tokeny są skutecznie przetwarzane zarówno podczas szkolenia, jak i wnioskowania, eliminując spadanie tokenów [5] [7].
- Deepseek-V2 wymagało pomocy mechanizmów strat, które mogłyby obniżyć wydajność ze względu na zwiększone koszty komunikacji [2].

3. Prognozę wielofunkcyjną
-Wprowadzenie wielozadaniowego celu prognozowania w Deepseek-V3 zwiększa zarówno wydajność treningu, jak i możliwości wnioskowania. Umożliwia to modelu przewidywanie wielu tokenów jednocześnie, znacznie przyspieszając czas przetwarzania i poprawiając dokładność [1] [4].
- DeepSeek-V2 nie uwzględnił tej funkcji, która ograniczyła swoją wydajność podczas zadań wnioskowania [2].

4. Wydajność szkolenia
-Proces szkolenia Deepseek-V3 jest szczególnie wydajny, wymaga tylko 2,788 miliona godzin GPU, co stanowi znaczącą redukcję w porównaniu z wymaganiami szkoleniowymi Deepseek-V2. Wydajność tę osiąga się za pomocą zaawansowanych technik mieszanych precyzyjnych (FP8) i zoptymalizowanych ram treningowych [1] [5].
- Metodologia szkolenia Deepseek-V2 była mniej zoptymalizowana, co spowodowało wyższe zużycie zasobów dla podobnych zadań [2].

5. Benchmarks wydajności
-Pod względem wydajności Deepseek-V3 osiągnął najnowocześniejsze wyniki w różnych testach porównawczych, w tym zadania rozumowania matematycznego i kodowania, z wynikami takimi jak 87,1% w MMLU i 87,5% na BBH ** [1] [3] [3 ].
- Podczas gdy Deepseek-V2 wniósł znaczący wkład w modelowanie języków, jego wskaźniki wydajności nie były tak konkurencyjne jak w miarę V3 [2].

Podsumowując, Deepseek-V3 stanowi znaczną aktualizację w stosunku do DeepSeek-V2 poprzez ulepszoną architekturę, innowacyjne techniki równoważenia obciążenia, lepszą wydajność treningu i doskonałą wydajność w wielu testach porównawczych. Te postępy stanowią Deepseek-V3 jako wiodący wybór w dziedzinie dużych modeli językowych.