A multi-token predikciós (MTP) célkitűzés a DeepSeek-V3-ban jelentősen javítja az adathatást azáltal, hogy alapvetően megváltoztatja a hagyományos következő előrejelzési paradigmát. Ahelyett, hogy csak a közvetlen token -t megjósolná, az MTP kiképzi a modellt, hogy egyszerre előre jelezze a több jövő tokenjét. Ez a megközelítés sűrűsíti az edzési jeleket, ami azt jelenti, hogy minden egyes bemeneti sorrendnél a modell több előrejelzést készít, ami az edzési adatok jobb felhasználásához vezet.
fokozott adathatékonyság
1. sűrűsített edzési jelek: Az egyszerre több token előrejelzésével az MTP növeli az edzési jelek sűrűségét. A hagyományos modellek, mint például a GPT, általában egy tokenre számítanak bemeneti helyzetenként, ami a szekvencia prediktív potenciáljának nagy részét kihasználatlanul hagyhatja. Ezzel szemben az MTP biztosítja, hogy minden egyes bemeneti sorrendre több előrejelzést készítsenek, ezáltal javítva az adatok hatékonyságát és felgyorsítva a tanulási eredményeket [1] [4].
2. Javított reprezentációs tervezés: Az MTP objektív ösztönzi a modellt a gazdagabb belső reprezentációk kidolgozására az adatok hosszabb távú függőségének figyelembevételével. Azáltal, hogy egyidejűleg több jövőbeli tokenre előrejelzéseket követel, az MTP arra kényszeríti a modellt, hogy minden pozícióban több kontextusos információt kódoljon. Ez szorosabban illeszkedik az emberi kognitív folyamatokhoz, amikor megérti a nyelv, ami a kontextus és a jelentés mélyebb megértését eredményezi a szekvenciákon belül [1] [4].
3. szélesebb körű általánosítási képességek: A több token előrejelzésének képessége javítja a modell azon képességét, hogy általánosítsa a különféle feladatok általi általánosítást, amelyek megkövetelik a kiterjesztett kontextusok feletti érvelést vagy koherens szekvenciák előállítását. Ez különösen előnyös az olyan összetett referenciaértékekben, mint a HumaneVal és a GSM8K, ahol a hosszú távú tervezés és a többlépcsős érvelés nélkülözhetetlen [1] [4].
spekulatív dekódolási potenciál
A következtetések során az MTP objektív megkönnyítheti a spekulatív dekódolást, ahol több tokenre vonatkozó előrejelzéseket párhuzamosan, nem pedig egymás után generálnak. Ez a képesség jelentősen csökkentheti a késleltetési időket és felgyorsíthatja a válaszidőket a modell telepítése során, ezáltal hatékonyabbá téve a valós idejű alkalmazásokhoz [1] [6].
Összefoglalva: a DeepSeek-V3 MTP-célkitűzés nemcsak javítja az edzés hatékonyságát, hanem javítja a modell prediktív képességeit és általánosítást az összetett feladatok között, jelezve a hagyományos következő előrejelzési módszerekkel szembeni jelentős előrelépést.
Idézetek:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks-multi-predction-mtp-objective-enhance-enhance-teljesítmény
[2] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[3] https://blogs.novita.ai/what-re-the-requirements-for-reepseek-v3-inference/
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-deepseek-v3?lang=en?
[5] https://blog.dataopslabs.com/deepseek-v3-veró-draining-and-fenchmark-pleformance
[6] https://github.com/deepseek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
[8] https://www.deeplearning.ai/the-batch/deepseek-v3-redefines-llm-poreformance-and-cost-efficity/
[9] https://www.youtube.com/watch?v=jl49flojyng