DeepSeek-R1 îmbunătățește decodarea speculativă prin mai multe inovații cheie, inclusiv consolidarea învățării (RL), difuzată de experți și predicție multi-token (MTP). Iată cum contribuie rutarea experților bazată pe RL la decodarea speculativă:
rutare expertă bazată pe RL
1.. Alocare dinamică a jetoanelor: DeepSeek-R1 folosește RL pentru a atribui dinamic jetoane experților pe baza încorporărilor contextuale. Aceasta este o îndepărtare de la metodele de rutare statică utilizate la modelele anterioare precum Deepseek-V3. Politica RL, notată ca $$ \ pi _ {\ theta} $$, ajustează probabilitatea de a selecta expertul $$ e_i $$ pentru token $$ t $$ pe baza încorporării token $ $ u_t $$ [1].
2. Obiectiv de optimizare: Politica RL este optimizată folosind cadrul de optimizare a politicii relative (GRPO). GRPO își propune să maximizeze recompensa cumulativă, reducând în același timp entropia de rutare și prevenirea supraîncărcării unor experți specifici. Acest lucru asigură că jetoanele sunt distribuite eficient între experți, optimizând atât echilibrarea sarcinii, cât și viteza de inferență [1].
3.. Această adaptabilitate permite modelului să-și perfecționeze cartografierea token-expert în timp, sporind eficiența inferenței fără a compromite precizia [1].
Impactul asupra decodării speculative
Decodarea speculativă în Deepseek-R1 implică prezicerea mai multor jetoane în paralel și verificarea acestora înainte de a finaliza ieșirea. Rutarea expertă bazată pe RL îmbunătățește decodarea speculativă de:
- Îmbunătățirea eficienței de predicție a jetonului: prin optimizarea dinamică a alocării jetonului și a echilibrării încărcăturii, rutarea bazată pe RL asigură că modelul poate gestiona mai eficient cerințele de calcul crescute de decodare speculativă. Aceasta permite o generare mai rapidă de mai multe jetoane fără a sacrifica coerența sau precizia [1] [2].
-Îmbunătățirea adaptabilității modelului: Natura adaptativă a rutelor bazate pe RL permite DeepSeek-R1 să-și ajusteze strategiile de predicție a jetonului pe baza complexității și contextului secvenței de intrare. Această adaptabilitate este crucială pentru menținerea unor rezultate de înaltă calitate în timpul decodării speculative, unde modelul trebuie să prezică și să verifice mai multe jetoane simultan [1] [4].
- Reducerea latenței: prin optimizarea procesului de rutare, DeepSeek-R1 poate genera textul mai rapid, menținând exactitatea. Această reducere a latenței este deosebit de benefică pentru decodarea speculativă, în cazul în care generarea mai multor jetoane simultan accelerează semnificativ procesul de inferență generală [2] [3].
În rezumat, rutarea de experți bazată pe RL în Deepseek-R1 îmbunătățește decodarea speculativă prin îmbunătățirea eficienței predicției jetonului, a adaptabilității modelului și a reducerii latenței, toate fiind esențiale pentru menținerea unor rezultate de înaltă calitate în timp ce accelerează generarea de text.
Citări:
[1] https://aman.ai/primers/ai/deepseek-r1/
[2] https://centml.ai/resources/2x-inference-speed-on-r1
[3] https://neuralmagic.com/blog/optimizing-vllm-for-epseek-r1/
[4] https://www.thewirechina.com/wp-content/uploads/2025/01/deepseek-r1-document.pdf
[5] https://www.reddit.com/r/localllama/comments/1i64ffn/draft_model_speculative_decoding_performance_with/
]
[7] https://huggingface.co/papers?q=deepseek-r1
[8] https://predibase.com/blog/predibase.com/blog/deepseek-inlf-distillation-turbo-peculation
[9] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cotainer/