Cíl s více tóny (MTP) v DeepSeek-V3 významně zvyšuje účinnost dat tím, že zásadně změní tradiční paradigma predikce dalšího tónu. Namísto předpovídání pouze bezprostředního vedlejšího tokenu MTP trénuje model, aby předpověděl více budoucích žetonů současně. Tento přístup zhušťuje signály školení, což znamená, že pro každou vstupní sekvenci model vytváří více předpovědí, což vede k lepšímu využití tréninkových dat.
Vylepšená účinnost dat
1. Zhubené signály tréninku: MTP předpovídáním více žetonů najednou zvyšuje hustotu tréninkových signálů. Tradiční modely, jako je GPT, obvykle předpovídají jeden token na vstupní polohu, který může ponechat většinu prediktivního potenciálu sekvence nevyužitý. Naproti tomu MTP zajišťuje, že pro každou vstupní sekvenci je provedeno více předpovědí, čímž se zlepšuje účinnost dat a zrychluje výsledky učení [1] [4].
2. Vylepšené plánování reprezentace: Cíl MTP vybízí model k rozvoji bohatších vnitřních reprezentací zvážením dlouhodobějších závislostí v datech. Požadováním předpovědí pro několik budoucích tokenů současně MTP nutí model, aby kódoval více kontextových informací na každé pozici. To se více vyrovnává s lidskými kognitivními procesy, když porozumění jazyku, což má za následek hlubší pochopení kontextu a významu v sekvencích [1] [4].
3. Širší možnosti zobecnění: Schopnost předpovídat více tokenů zvyšuje schopnost modelu zobecnit napříč různými úkoly, které vyžadují zdůvodnění v rozšířených kontextech nebo generování koherentních sekvencí. To je obzvláště výhodné ve složitých měřítcích, jako jsou Humanival a GSM8K, kde je nezbytné dlouhodobé plánování a vícestupňové uvažování [1] [4].
Spekulativní potenciál dekódování
Během závěru může cíl MTP usnadnit spekulativní dekódování, kde jsou předpovědi pro více tokenů generovány spíše paralelně než postupně. Tato schopnost může výrazně zkrátit latence a urychlit doby odezvy během nasazení modelu, což zefektivňuje aplikaci v reálném čase [1] [6].
Stručně řečeno, cíl MTP v DeepSeek-V3 nejen zlepšuje účinnost školení, ale také zvyšuje prediktivní schopnosti modelu a zobecnění napříč složitými úkoly, což znamená podstatný pokrok oproti tradičním metodám predikce dalšího tónu.
Citace:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks--toked-prediction-mtp-objektive-enhance-forformance
[2] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[3] https://blogs.novita.ai/what-are-the-requirements-for-deepseek-v3-inference/
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[5] https://blog.dataopslabs.com/deepseek-v3-overview-training-and-benchmark-performance
[6] https://github.com/deepseek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
[8] https://www.deeplearning.ai/the-batch/deepseek-v3-redefines-LLM-Performance-and-cost-efficientivence/
[9] https://www.youtube.com/watch?v=jl49flojyng