Care sunt principalele diferențe între Deepseek-V3 și Deepseek-V2

Diferențe cheie

1. Arhitectură și parametri
-DeepSeek-V3 are o arhitectură de amestec de experți (MOE) cu un total de 671 miliarde de parametri, activând doar 37 de miliarde pe jeton. Acest design optimizează utilizarea resurselor, menținând în același timp performanțe ridicate [1] [3].
- În schimb, Deepseek-V2 a utilizat, de asemenea, un cadru MOE, dar cu mai puțini parametri și strategii de echilibrare a sarcinii mai puțin eficiente, ceea ce duce la o comunicare mai mare în timpul antrenamentului [2].

2. Inovații de echilibrare a încărcării
-Deepseek-V3 folosește o strategie de echilibrare a sarcinii fără pierderi auxiliare, care îmbunătățește performanța modelului fără dezavantajele tradiționale asociate cu echilibrarea sarcinii în arhitecturile MOE. Această inovație asigură că toate jetoanele sunt procesate eficient atât în ​​timpul antrenamentului, cât și al inferenței, eliminând scăderea jetoanelor [5] [7].
- Deepseek-V2 a necesitat mecanisme de pierdere auxiliară care ar putea degrada performanța din cauza costurilor crescute de comunicare [2].

3. Predicție multi-token
-Introducerea unui obiectiv de predicție multi-token în Deepseek-V3 îmbunătățește atât eficiența instruirii, cât și capacitățile de inferență. Acest lucru permite modelului să prezică mai multe jetoane simultan, accelerând semnificativ timpii de procesare și îmbunătățind precizia [1] [4].
- Deepseek-V2 nu a încorporat această caracteristică, ceea ce a limitat eficiența sa în timpul sarcinilor de inferență [2].

4. Eficiență de instruire
-Procesul de instruire al Deepseek-V3 este în special eficient, necesitând doar 2,788 milioane de ore GPU, ceea ce reprezintă o reducere semnificativă în comparație cu cerințele de instruire ale Deepseek-V2. Această eficiență se realizează prin tehnici avansate de precizie mixtă (FP8) și cadre de instruire optimizate [1] [5].
- Metodologia de formare a Deepseek-V2 a fost mai puțin optimizată, ceea ce a dus la un consum mai mare de resurse pentru sarcini similare [2].

5. Benchmark -uri de performanță
-În ceea ce privește performanța, Deepseek-V3 a obținut rezultate de ultimă generație pe diferite repere, inclusiv raționamente matematice și sarcini de codificare, cu scoruri precum 87,1% la MMLU și 87,5% la BBH ** [1] [3 ].
- În timp ce Deepseek-V2 a adus contribuții semnificative la modelarea limbajului, valorile sale de performanță nu au fost la fel de competitive ca cele ale V3 [2].

În rezumat, Deepseek-V3 reprezintă o actualizare substanțială asupra Deepseek-V2 printr-o arhitectură îmbunătățită, tehnici inovatoare de echilibrare a sarcinilor, eficiență îmbunătățită de formare și performanțe superioare pe mai multe repere. Aceste progrese poziționează Deepseek-V3 ca o alegere de lider în domeniul modelelor de limbaj mare.