La vérification de l'accord probabiliste joue un rôle crucial dans le décodage spéculatif en garantissant que les jetons générés par un modèle de "brouillon" plus petit s'alignent sur la distribution de sortie d'un modèle de base plus grand. Ce processus est essentiel pour maintenir la qualité et la cohérence du texte généré tout en tirant parti des gains d'efficacité offerts par le décodage spéculatif.
Aperçu du décodage spéculatif
Le décodage spéculatif implique l'utilisation d'un modèle plus petit, souvent appelé le spéculateur ou le modèle de brouillon, pour prédire les prochains jetons d'une séquence. Ces prédictions sont ensuite vérifiées par rapport à la sortie d'un modèle plus grand et plus précis (le modèle de base) pour s'assurer qu'ils sont plausibles en fonction de la distribution du modèle de base [1] [4]. Cette étape de vérification est l'endroit où la vérification de l'accord probabiliste entre en jeu.
Vérification de l'accord probabiliste
1. Processus de vérification: Une fois que le modèle de brouillon a généré un jeton, la même entrée est introduite dans le modèle de base pour prédire le jeton suivant. La probabilité du jeton généré par le modèle de projet est comparée à la probabilité attribuée par le modèle de base. Si le jeton du trait du modèle a une probabilité inférieure ou égale à la probabilité attribuée du modèle de base, elle est acceptée; Sinon, il est rejeté [1].
2. Alignement probabiliste: l'objectif est de s'assurer que les sorties du modèle de projet sont alignées sur la distribution du modèle de base. Cet alignement est crucial car il permet au décodage spéculatif de générer des jetons susceptibles d'être acceptés par le modèle de base, conservant ainsi la qualité de la sortie tout en accélérant le processus d'inférence [1] [4].
3. Efficacité et compromis de qualité: la vérification des accords probabilistes permet d'équilibrer l'efficacité et la qualité. En acceptant des jetons qui sont probablement selon le modèle de base, le décodage spéculatif peut générer plusieurs jetons en parallèle sans compromettre la qualité de sortie. Cette approche réduit considérablement la latence par rapport aux modèles autorégressifs traditionnels, qui génèrent des jetons séquentiellement [4] [5].
4. Adaptation à différents scénarios: Dans les scénarios d'inférence multi-échantillons, la vérification de l'accord probabiliste peut être adaptée pour tirer parti du consensus sur les chemins de génération parallèle. En analysant les modèles structurels et en agrégeant les séquences de jetons consensus, le décodage spéculatif peut améliorer les taux d'acceptation du projet et réduire la latence sans nécessiter de modèles ou de bases de données externes [2].
Conclusion
En résumé, la vérification probabiliste de l'accord est une composante vitale du décodage spéculatif, garantissant que les gains d'efficacité du traitement parallèle ne compromettent pas la qualité du texte généré. En vérifiant l'alignement des sorties du modèle de projet avec la distribution du modèle de base, le décodage spéculatif peut réaliser des améliorations de vitesse significatives tout en maintenant la qualité de sortie.
Citations:
[1] https://blog.codingconfessions.com/p/a-selective-survey-of-speculative-decoding
[2] https://arxiv.org/html/2503.05330v1
[3] https://arxiv.org/html/2412.10418v2
[4] https://www.linkedin.com/posts/maxbuckley_what-is-speculative-decoding-speculative-activité-7286422871885643776-sngb
[5] https://mlops.substack.com/p/speculative-decoding-for-llm
[6] https://openreview.net/pdf?id=wsqpnemvlu
[7] https://philkrav.com/posts/speculative/
[8] https://www.reddit.com/r/localllama/comments/1iu8f7s/speculative_decoding_can_identify_broken_quants/