Deepseek-R1 izboljšuje špekulativno dekodiranje skozi več ključnih inovacij, vključno s strokovnim usmerjanjem na podlagi okrepitve (RL) in večkratno napovedjo (MTP). Tukaj je, kako strokovna usmerjanje, ki temelji na RL, prispeva k špekulativnemu dekodiranju:
RL, ki temelji na strokovnem usmerjanju
1. Dinamična dodelitev žetona: Deepseek-R1 uporablja RL za dinamično dodeljevanje žetonov strokovnjakom, ki temeljijo na kontekstnih vdelavih. To je odmik od statičnih metod usmerjanja, ki se uporabljajo v prejšnjih modelih, kot je Deepseek-V3. Pravilnik o RL, označen kot $$ \ pi _ {\ theta} $$, prilagodi verjetnost izbire strokovnjaka $$ e_i $$ za žeton $$ t $$, ki temelji na vdelavi žetona $$ u_t $$ [1].
2. Cilj optimizacije: Politika RL je optimizirana z uporabo okvira relativne optimizacije politike (GRPO). Cilj GRPO je povečati kumulativno nagrado, hkrati pa zmanjšati entropijo usmerjanja in preprečiti preobremenitev določenih strokovnjakov. To zagotavlja, da se žetoni učinkovito distribuirajo med strokovnjaki in optimizirajo uravnavanje obremenitve in hitrost sklepanja [1].
3. Dinamični pristranskosti: Funkcija usmerjanja vključuje dinamične izraze pristranskosti, ki modulirajo izbor strokovnjaka na podlagi povratnih informacij o usposabljanju. Ta prilagodljivost omogoča modelu, da sčasoma izpopolni preslikavo žetona in eksperit, kar povečuje učinkovitost sklepanja, ne da bi pri tem ogrozil natančnost [1].
Vpliv na špekulativno dekodiranje
Špekulativno dekodiranje v Deepseek-R1 vključuje napovedovanje več žetonov vzporedno in preverjanje, preden dokončate izhod. Strokovno usmerjanje, ki temelji na RL, izboljšuje špekulativno dekodiranje z:
- Izboljšanje učinkovitosti napovedovanja žetona: Z dinamično optimizacijo dodeljevanja žetona in uravnoteženosti obremenitve, usmerjanje na osnovi RL zagotavlja, da lahko model bolj učinkovito obravnava računske zahteve špekulativnega dekodiranja. To omogoča hitrejšo ustvarjanje več žetonov, ne da bi pri tem žrtvovali skladnost ali natančnost [1] [2].
-Izboljšanje prilagodljivosti modela: prilagodljiva narava usmerjanja na osnovi RL omogoča Deepseek-R1 prilagoditi svoje strategije napovedovanja žetona, ki temeljijo na zapletenosti in kontekstu vhodnega zaporedja. Ta prilagodljivost je ključnega pomena za vzdrževanje kakovostnih rezultatov med špekulativnim dekodiranjem, kjer mora model hkrati predvideti in preveriti več žetonov [1] [4].
- Zmanjšanje zamud: Z optimizacijo postopka usmerjanja lahko Deepseek-R1 hitreje ustvari besedilo, hkrati pa ohrani natančnost. To zmanjšanje zamude je še posebej koristno za špekulativno dekodiranje, kjer ustvarjanje več žetonov hkrati znatno pospeši celoten postopek sklepanja [2] [3].
Če povzamemo, strokovno usmerjanje v RL v Deepseek-R1 povečuje špekulativno dekodiranje z izboljšanjem učinkovitosti napovedovanja žetonov, prilagodljivostjo modela in zmanjšanjem zamud, ki so vse kritične za vzdrževanje kakovostnih izhodov, hkrati pa pospešijo ustvarjanje besedila.
Navedbe:
[1] https://aman.ai/primers/ai/deepseek-r1/
[2] https://centml.ai/resources/2x-inference-peed-on-r1
[3] https://neuralmagic.com/blog/optimizing-vllm-for-reepseek-r1/
[4] https://www.thewirechina.com/wp-content/uploads/2025/01/deepseek-r1-document.pdf
[5] https://www.reddit.com/r/localllama/comments/1i64ffn/draft_model_speculative_decoding_performance_with/
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[7] https://huggingface.co/papers?q=deepseek-r1
[8] https://predibase.com/blog/predibase.com/blog/deepseek-r1-ssebce-distilacija-turbo-spekulacija
[9] https://aws.amazon.com/blogs/machine-learning/Deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-cainer/