Daugialypės prognozės (MTP) tikslas „Deepseeek-V3“ žymiai padidina duomenų efektyvumą, iš esmės pakeisdamas tradicinę kito bandymo prognozavimo paradigmą. Užuot numatęs tik artimiausią kitą žetoną, MTP moko modelį, kad vienu metu numatytų kelis ateities žetonus. Šis požiūris tenkina treniruočių signalus, tai reiškia, kad kiekvienai įvesties sekai modelis daro daugybę prognozių, todėl geriau panaudoti mokymo duomenis.
Patobulintas duomenų efektyvumas
1. Tankiojantys treniruočių signalai: numatant kelis žetonus vienu metu, MTP padidina treniruočių signalų tankį. Tradiciniai modeliai, tokie kaip GPT, paprastai prognozuoja vieną prieigos raktą kiekvienoje įvesties padėtyje, o tai gali palikti didžiąją dalį sekos numatomojo potencialo neišnaudotą. Priešingai, MTP, priešingai, užtikrina daugiau prognozių kiekvienai įvesties sekai, taip pagerinant duomenų efektyvumą ir pagreitinant mokymosi rezultatus [1] [4].
2. Patobulintas reprezentacijos planavimas: MTP tikslas skatina modelį kurti turtingesnius vidinius vaizdus, atsižvelgiant į ilgesnės trukmės priklausomybes nuo duomenų. Reikalaudama, kad vienu metu numatytų kelių ateities žetonų prognozes, MTP verčia modelį koduoti daugiau kontekstinės informacijos kiekvienoje padėtyje. Tai labiau atitinka žmogaus pažinimo procesus suprantant kalbą, todėl giliau supranta kontekstą ir prasmę sekose [1] [4].
3. Platesnės apibendrinimo galimybės: gebėjimas numatyti kelis žetonus padidina modelio gebėjimą apibendrinti įvairias užduotis, kurioms reikalingi samprotavimai dėl išplėstinių kontekstų ar generuoti nuoseklias sekas. Tai ypač naudinga sudėtinguose etalonuose, tokiuose kaip „Humaneval“ ir „GSM8K“, kur būtina ilgalaikis planavimas ir daugiapakopiai samprotavimai [1] [4].
Spekuliacinis dekodavimo potencialas
Išvadų metu MTP tikslas gali palengvinti spekuliacinį dekodavimą, kai keliems žetonų prognozėms generuojami lygiagrečiai, o ne nuosekliai. Ši galimybė gali žymiai sutrumpinti latenciją ir pagreitinti reagavimo laiką diegiant modelį, todėl jis bus efektyvesnis realiojo laiko programoms [1] [6].
Apibendrinant galima pasakyti, kad „Deepseek-V3“ MTP tikslas ne tik pagerina mokymo efektyvumą, bet ir pagerina modelio numatomuosius galimybes ir apibendrinimą atliekant sudėtingas užduotis, žymiai didelę pažangą, palyginti su tradiciniais kitų mokėtinų prognozavimo metodais.
Citatos:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks-multi-token-pediction-mtp-objective-enhance-Pheformance
[2] https://dirox.com/post/deepseek-v3-the-open-ource-ai-revolution
[3] https://blogs.novita.ai/what-are-the-requirements-for-deepseek-v3-inference/
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-akeaways-from-deepseek-v3?lang=en
[5] https://blog.dataopslabs.com/deepseek-v3-oveview-training-and-benchmark-petsance
[6] https://github.com/deepseek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/underve-seepseek-v3
]
[9] https://www.youtube.com/watch?v=JL49Flojyng