Obiectivul de predicție multi-token (MTP) în Deepseek-V3 îmbunătățește semnificativ eficiența datelor prin modificarea fundamental a paradigmei tradiționale de predicție următoare. În loc să prezică doar jetonul de lângă imediat, MTP antrenează modelul pentru a prezice simultan multiple jetoane de viitor. Această abordare densifică semnalele de instruire, ceea ce înseamnă că pentru fiecare secvență de intrare, modelul face predicții multiple, ceea ce duce la o mai bună utilizare a datelor de instruire.
Eficiența îmbunătățită a datelor
1.. Semnale de antrenament densificate: Prezicând mai multe jetoane simultan, MTP crește densitatea semnalelor de antrenament. Modelele tradiționale precum GPT prezic de obicei un jeton pe poziția de intrare, care poate lăsa o mare parte din potențialul predictiv al secvenței neexploatat. În schimb, MTP se asigură că se fac mai multe predicții pentru fiecare secvență de intrare, îmbunătățind astfel eficiența datelor și accelerând rezultatele învățării [1] [4].
2. Planificarea îmbunătățită a reprezentării: Obiectivul MTP încurajează modelul să dezvolte reprezentări interne mai bogate, luând în considerare dependențele pe termen lung în date. Solicitarea predicțiilor pentru mai multe jetoane viitoare simultan, MTP obligă modelul să codifice mai multe informații contextuale la fiecare poziție. Aceasta se aliniază mai strâns cu procesele cognitive umane atunci când înțelegem limbajul, ceea ce duce la o înțelegere mai profundă a contextului și a sensului în secvențe [1] [4].
3. Capabilități de generalizare mai largă: Capacitatea de a prezice mai multe jetoane îmbunătățește capacitatea modelului de a se generaliza în diverse sarcini care necesită raționament pe contexte extinse sau generarea de secvențe coerente. Acest lucru este deosebit de benefic în valori de referință complexe, cum ar fi Humeval și GSM8K, unde planificarea pe termen lung și raționamentul în mai multe etape sunt esențiale [1] [4].
Potențial de decodare speculativ
În timpul inferenței, obiectivul MTP poate facilita decodarea speculativă, unde predicțiile pentru mai multe jetoane sunt generate în paralel, mai degrabă decât secvențial. Această capacitate poate reduce semnificativ latența și accelerează timpul de răspuns în timpul implementării modelului, ceea ce o face mai eficientă pentru aplicațiile în timp real [1] [6].
În rezumat, obiectivul MTP în Deepseek-V3 nu numai că îmbunătățește eficiența instruirii, dar îmbunătățește și capacitățile predictive ale modelului și generalizarea în sarcini complexe, marcând un avans substanțial asupra metodelor tradiționale de predicție următoare.
Citări:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks-sulti-token-prediction-mtp-objectiv-enhance-performance
[2] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[3] https://blogs.novita.ai/what-are-the-requirements-for-epseek-v3-inference/
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[5] https://blog.dataopsLabs.com/deepseek-v3-overview-training-and-benchmark-performance
[6] https://github.com/deepseek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/understanding-eepseek-v3
[8] https://www.deeplearning.ai/the-tatch/deepseek-v3-redefines-llm-performance-and-cost-efficieny/
[9] https://www.youtube.com/watch?v=jl49flojyng