DeepSeek-R1 zvyšuje spekulativní dekódování prostřednictvím několika klíčových inovací, včetně odborných směrování a předpovědi s více tóny (MTP) založené na odborném učení (RL). Zde je způsob, jak přispívá k spekulativnímu dekódování odborníka založené na RL:
RL na základě odborného směrování
1. Přiřazení dynamického tokenu: DeepSeek-R1 používá RL k dynamickému přiřazení tokenů odborníkům na základě kontextuálních vložení. Toto je odchylka od metod statického směrování používané v dřívějších modelech, jako je DeepSeek-V3. Politika RL, označená jako $$ \ pi _ {\ theta} $$, upravuje pravděpodobnost výběru expert $$ e_i $$ pro token $$ t $$ na základě tokenu zabudovaných $$ u_t $$ [1].
2. Cíl optimalizace: Zásada RL je optimalizována pomocí rámce optimalizace skupiny relativní politiky (GRPO). Cílem GRPO je maximalizovat kumulativní odměnu a zároveň minimalizovat směrovací entropii a zabránit přetížení konkrétních odborníků. Tím je zajištěno, že tokeny jsou efektivně distribuovány napříč odborníky a optimalizují jak vyrovnávání zátěže, tak i inferenční rychlost [1].
3. Dynamické podmínky zkreslení: Funkce směrování zahrnuje dynamické podmínky zkreslení, které modulují výběr odborníků založené na zpětné vazbě na školení. Tato adaptabilita umožňuje modelu zdokonalovat jeho mapování tokenu v průběhu času, což zvyšuje účinnost inference bez ohrožení přesnosti [1].
Dopad na spekulativní dekódování
Spekulativní dekódování v DeepSeek-R1 zahrnuje předpovídání více tokenů paralelně a jejich ověření před dokončením výstupu. Směrování odborníků založené na RL zvyšuje spekulativní dekódování:
- Zlepšení účinnosti predikce tokenu: Dynamicky optimalizací přiřazení tokenů a vyrovnávání zátěže zajišťuje směrování založené na RL založené na tom, že model dokáže zvládnout zvýšené výpočetní požadavky spekulativního dekódování efektivněji. To umožňuje rychlejší generování více žetonů bez obětování koherence nebo přesnosti [1] [2].
-Zvýšení přizpůsobivosti modelu: Adaptivní povaha směrování založeného na RL umožňuje DeepSeek-R1 upravit své strategie predikce tokenů na základě složitosti a kontextu vstupní sekvence. Tato adaptabilita je zásadní pro udržení vysoce kvalitních výstupů během spekulativního dekódování, kde model musí předvídat a ověřit více žetonů současně [1] [4].
- Snížení latence: Optimalizací procesu směrování může DeepSeek-R1 generovat text rychleji při zachování přesnosti. Toto snížení latence je zvláště výhodné pro spekulativní dekódování, kde generování více žetonů najednou významně urychluje celkový inferenční proces [2] [3].
Stručně řečeno, směrování expertů založené na RL v DeepSeek-R1 zvyšuje spekulativní dekódování zlepšením účinnosti predikce tokenů, přizpůsobivostí modelu a snižováním latence, z nichž všechny jsou rozhodující pro udržení vysoce kvalitních výstupů při zrychlení generování textu.
Citace:
[1] https://aman.ai/primers/ai/deepseek-r1/
[2] https://centml.ai/resources/2x-inference-speed-on-r1
[3] https://neuralmagic.com/blog/optimizing-vllm-for-deepseek-r1/
[4] https://www.thewirechina.com/wp-content/uploads/2025/01/deepseek-r1-document.pdf
[5] https://www.reddit.com/r/localllama/comments/1i64ffn/draft_model_speculative_decoding_performance_with/
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-face-tgi-on-amazon-sagemaker-ai/
[7] https://huggingface.co/papers?q=deepseek-r1
[8] https://predibase.com/blog/predibase.com/blog/deepseek-r1-Self-distilation-turbo-peculation
[9] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-nreference-container/