概率一致性检查通过确保由较小的“草稿”模型与较大基本模型的输出分布对齐产生的令牌，从而在投机解码中起着至关重要的作用。此过程对于维持生成的文本的质量和一致性至关重要，同时利用投机解码提供的效率提高。
###投机解码概述
投机解码涉及使用较小的模型，通常称为投机者或草稿模型，以按顺序预测接下来的几个令牌。然后，这些预测会根据较大，更准确的模型(基本模型)的输出进行验证，以确保根据基本模型的分布[1] [4]合理。此验证步骤是概率协议检查起作用的地方。
###概率协议检查
1。验证过程：草稿模型生成一个令牌后，将相同的输入馈入基本模型以预测下一个令牌。将模型产生的令牌的概率与基本模型分配的概率进行了比较。如果模型的令牌的概率小于或等于基本模型的分配概率，则被接受；否则，它将被拒绝[1]。
2。概率对准：目标是确保草稿模型的输出与基本模型的分布保持一致。这种比对至关重要，因为它允许投机解码产生可能被基本模型接受的令牌，从而在加快推理过程的同时保持输出质量[1] [4]。
3.效率和质量折衷：概率协议检查有助于平衡效率和质量。通过接受可能根据基本模型的令牌，投机解码可以并行生成多个令牌，而不会损害输出质量。与传统自回旋模型相比，这种方法大大降低了潜伏期，后者依次生成令牌[4] [5]。
4。适应不同方案：在多样本推理方案中，可以对概率一致性检查进行调整，以利用平行生成路径的共识。通过分析结构模式并汇总共识令牌序列，投机解码可以提高草案接受率并降低潜伏期而无需外部模型或数据库[2]。
＃＃＃ 结论
总而言之，概率协议检查是投机解码的重要组成部分，可确保并行处理所获得的效率不会损害生成的文本的质量。通过验证模型输出与基本模型的分布的一致性，投机解码可以在保持产出质量的同时实现显着的速度提高。
引用：
[1] https://blog.codingconfessions.com/p/a-seleceptive-survey-survey-of-speculative-decoding
[2] https://arxiv.org/html/2503.05330v1
[3] https://arxiv.org/html/2412.10418v2
[4] https://www.linkedin.com/posts/maxbuckley_what-is-speculative-deculative-deculative-speculative-activity-activity-7286422871885643776-SNGB
[5] https://mlops.substack.com/p/speculative-decoding-for-llm
[6] https://openreview.net/pdf?id=wsqpnemvlu
[7] https://philkrav.com/posts/speculative/
[8] https://www.reddit.com/r/localllama/comments/1iu8f7s/speculative_decoding_can_can_identify_brokentify_broken_quants/