Katere so glavne razlike med Deepseek-V3 in Deepseek-V2

Ključne razlike

1. Arhitektura in parametri
-Deepseek-V3 ima arhitekturo mešanice do eksperit (MOE) s skupno 671 milijardami parametrov, ki aktivira le 37 milijard na žeton. Ta zasnova optimizira porabo virov, hkrati pa ohranja visoko zmogljivost [1] [3].
- V nasprotju s tem je Deepseek-V2 uporabil tudi okvir MOE, vendar z manj parametri in manj učinkovitimi strategijami uravnoteženja obremenitve, kar je vodilo do večje komunikacije med treningom [2].

2. Inovacije za uravnoteženje obremenitve
-Deepseek-V3 uporablja strategijo uravnoteženja obremenitve brez izgube, ki izboljša zmogljivost modela brez tradicionalnih pomanjkljivosti, povezanih z uravnoteženjem obremenitve v arhitekturi MO. Ta inovacija zagotavlja, da se vsi žetoni med treningom in sklepanjem učinkovito obdelujejo, kar odpravi padec žetona [5] [7].
- Deepseek-V2 so potrebovali mehanizme pomožnih izgub, ki bi lahko poslabšali zmogljivost zaradi povečanih komunikacijskih stroškov [2].

3. Napoved z več tok
-Uvedba cilja napovedovanja v Deepseek-V3 povečuje učinkovitost in sklepanje. To omogoča modelu, da hkrati napoveduje več žetonov, znatno pospeši čas obdelave in izboljšanje natančnosti [1] [4].
- Deepseek-V2 ni vključil te lastnosti, ki je omejila svojo učinkovitost med sklepanjem [2].

4. Učinkovitost usposabljanja
-Proces usposabljanja Deepseek-V3 je opazno učinkovit, saj zahteva le 2,788 milijona ur GPU-jev, kar je znatno zmanjšanje v primerjavi z zahtevami za usposabljanje Deepseek-V2. Ta učinkovitost je dosežena z naprednimi mešanimi tehnikami natančnosti (FP8) in optimiziranimi okviri usposabljanja [1] [5].
- Metodologija usposabljanja Deepseek-V2 je bila manj optimizirana, kar je povzročilo večjo porabo virov za podobne naloge [2].

5. Merila uspešnosti
-Glede na uspešnost je Deepseek-V3 dosegel najsodobnejše rezultate v različnih merilih, vključno z matematičnimi nalogami sklepanja in kodiranja, z rezultati, kot sta 87,1% na MMLU in 87,5% na BBH ** [1] [3 ].
- Medtem ko je Deepseek-V2 pomembno prispeval k jezikovnemu modeliranju, njene meritve uspešnosti niso bile tako konkurenčne kot v V3 [2].

Če povzamemo, Deepseek-V3 predstavlja veliko nadgradnjo nad Deepseek-V2 z izboljšano arhitekturo, inovativne tehnike uravnoteženosti obremenitve, izboljšano učinkovitostjo treninga in vrhunske zmogljivosti v več referenčnih vrednostih. Ti napredki postavljajo Deepseek-V3 kot vodilno izbiro na področju velikih jezikovnih modelov.