Перевірка ймовірнісної угоди відіграє вирішальну роль у спекулятивному декодуванні, гарантуючи, що лексеми, створені меншим проектом "моделі", узгоджуються з розподілом виходу більшої базової моделі. Цей процес є важливим для підтримки якості та узгодженості генерованого тексту, використовуючи підвищення ефективності, пропоновані спекулятивним декодуванням.
Огляд спекулятивного декодування
Спекулятивне декодування передбачає використання меншої моделі, яку часто називають спекулянтом або проектною моделлю, для прогнозування наступних кількох жетонів у послідовності. Потім ці прогнози перевіряються проти виходу більшої, точної моделі (базової моделі), щоб переконатися, що вони є правдоподібними відповідно до розподілу базової моделі [1] [4]. Цей крок перевірки - це те, де вступає в імовірнісну перевірку угоди.
Перевірка ймовірнісної угоди
1. Процес перевірки: Після того, як проект моделі генерує маркер, той самий вхід подається в базову модель для прогнозування наступного маркера. Ймовірність токена, створеної проектною моделлю, порівнюється з ймовірністю, присвоєною базовою моделлю. Якщо маркер проекту моделі має ймовірність менше або дорівнює призначеній ймовірності базової моделі, він прийнятий; В іншому випадку він відхиляється [1].
2. Імовірнісне вирівнювання: Мета полягає в тому, щоб забезпечити виходи проекту моделі вирівнюються з розподілом базової моделі. Це вирівнювання має вирішальне значення, оскільки воно дозволяє спекулятивному декодуванню генерувати жетони, які, ймовірно, будуть прийняті базовою моделлю, тим самим зберігаючи якість виходу, прискорюючи процес висновку [1] [4].
3. Ефективність та якість компромісу: перевірка ймовірнісної угоди допомагає збалансувати ефективність та якість. Приймаючи жетони, які, ймовірно, відповідно до базової моделі, спекулятивне декодування може генерувати кілька жетонів паралельно без шкоди для якості виходу. Цей підхід значно знижує затримку порівняно з традиційними авторегресивними моделями, які генерують жетони послідовно [4] [5].
4. Адаптація до різних сценаріїв: У сценаріях багатопробних висновків перевірка ймовірнісної домовленості може бути адаптована для використання консенсусу на шляху паралельного генерації. Аналізуючи структурні закономірності та агрегацію послідовностей токенів консенсусу, спекулятивне декодування може покращити швидкість прийняття проекту та зменшити затримку, не вимагаючи зовнішніх моделей або баз даних [2].
Висновок
Підсумовуючи, перевірка ймовірнісної угоди є життєво важливим компонентом спекулятивного декодування, гарантуючи, що підвищення ефективності від паралельної обробки не порушує якість створеного тексту. Перевірте вирівнювання випусків проекту моделі за допомогою розподілу базової моделі, спекулятивне декодування може досягти значних покращень швидкості, зберігаючи якість виходу.
Цитати:
[1] https://blog.codingconfessions.com/p/a-selective-survey-of-sculative-decoding
[2] https://arxiv.org/html/2503.05330v1
[3] https://arxiv.org/html/2412.10418v2
[4] https://www.linkedin.com/posts/maxbuckley_what-is-sculativate-decoding-sculativate-activity-728642871885643776-sngb
[5] https://mlops.substack.com/p/speculative-decoding-for-llm
[6] https://openreview.net/pdf?id=wsqpnemvlu
[7] https://philkrav.com/posts/speculative/
[8] https://www.reddit.com/r/localllama/comments/1iu8f7s/speculative_decoding_can_identify_broken_quants/