Мета проведення прогнозування (MTP) у DeepSeek-V3 значно підвищує ефективність даних, принципово змінюючи традиційну парадигму прогнозування наступного руху. Замість того, щоб прогнозувати лише негайний поруч, MTP навчає модель для прогнозування одночасно декількох жетонів майбутнього. Цей підхід денсифікує навчальні сигнали, що означає, що для кожної послідовності введення модель робить кілька прогнозів, що призводить до кращого використання даних про навчання.
підвищена ефективність даних
1. Гендифіковані тренувальні сигнали: Прогнозуванням декількох жетонів відразу MTP збільшує щільність тренувальних сигналів. Традиційні моделі, такі як GPT, як правило, прогнозують один жетон на вхідну позицію, що може залишити значну частину прогнозованого потенціалу послідовності невикористаним. На відміну від цього, MTP гарантує, що для кожної послідовності введення зроблено більше прогнозів, тим самим покращуючи ефективність даних та прискорюючи результати навчання [1] [4].
2. Покращене планування представництва: Мета MTP заохочує модель розробляти більш багаті внутрішні уявлення, розглядаючи довгострокові залежності в даних. Потрібен прогнозування на кілька майбутніх жетонів одночасно, MTP змушує модель кодувати більш контекстуальну інформацію в кожній позиції. Це тісніше узгоджується з когнітивними процесами людини під час розуміння мови, що призводить до глибшого розуміння контексту та сенсу в послідовностях [1] [4].
3. Більш широкі можливості узагальнення: здатність прогнозувати кілька жетонів підвищує здатність моделі узагальнювати в різних завданнях, які потребують міркувань над розширеними контекстами або генерування когерентних послідовностей. Це особливо корисно у складних орієнтирах, таких як Humaneval та GSM8K, де тривале планування та багатоступеневі міркування є важливими [1] [4].
спекулятивний потенціал декодування
Під час висновку мета MTP може полегшити спекулятивне декодування, де прогнози для множинних жетонів генеруються паралельно, а не послідовно. Ця здатність може значно зменшити затримку та прискорити час відгуку під час розгортання моделі, що робить його більш ефективним для додатків у режимі реального часу [1] [6].
Підсумовуючи, мета MTP в DeepSeek-V3 не тільки покращує ефективність навчання, але й підвищує прогнозні можливості моделі та узагальнення в різних складних завданнях, що відзначає істотний прогрес щодо традиційних методів прогнозування наступного руху.
Цитати:
[1] https://codingmall.com/knowledge-base/25-global/240692-how-does-deepseeks-multi-token-prediction-mtp-objective-enhance-performance
[2] https://dirox.com/post/deepseek-v3-the-open-source-ai-revolution
[3] https://blogs.novita.ai/what-are-the-requirements-for-deepseek-v3-inference/
[4] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[5] https://blog.dataopslabs.com/deepseek-v3-overview-training-and-benchmark-performance
[6] https://github.com/deepseek-ai/deepseek-v3/blob/main/readme.md
[7] https://mlfrontiers.substack.com/p/enderstanding-deepseek-v3
[8] https://www.deeplearning.ai/the-batch/deepseek-v3-redefines-llm-performance-and-cost-efficience/
[9] https://www.youtube.com/watch?v=jl49flojyng