การถอดรหัสการเก็งกำไรมีผลต่อความล่าช้าโดยรวมของ Deepseek-R1 อย่างไร

การถอดรหัสการเก็งกำไรทำงานอย่างไร

1. การสร้างโทเค็นขนาน: แบบร่างร่างขนาดเล็กสร้างโทเค็นผู้สมัครหลายคนในแบบคู่ขนาน สิ่งนี้เร็วกว่าการสร้างแบบต่อเนื่องโดยรุ่นที่มีขนาดใหญ่กว่าเพราะใช้การเร่งความเร็ว GPU ได้อย่างมีประสิทธิภาพมากขึ้น [1] [3]

2. กระบวนการตรวจสอบ: โมเดลขนาดใหญ่ตรวจสอบโทเค็นผู้สมัครเหล่านี้ หากพวกเขาตรงกับผลลัพธ์ที่คาดหวังพวกเขาจะได้รับการยอมรับ มิฉะนั้นจะมีการคำนวณโทเค็นที่ไม่ถูกต้องเท่านั้น [3] [9]

ส่งผลกระทบต่อเวลาแฝง

- ลดเวลาแฝงโดยเฉลี่ย: การถอดรหัสการเก็งกำไรสามารถลดเวลาแฝงเฉลี่ยโดยการสร้างโทเค็นได้เร็วขึ้น นี่เป็นเพราะรูปแบบร่างต้องการทรัพยากรน้อยลงและสามารถทำงานได้เร็วกว่ารุ่นที่ใหญ่กว่า [3] [5]

- เวลาแฝงตัวแปร: ในขณะที่การถอดรหัสการเก็งกำไรปรับปรุงปริมาณงานโดยรวม แต่สามารถนำไปสู่เวลาแฝงที่ไม่สอดคล้องกัน เมื่อการคาดการณ์ของโมเดลร่างไม่ถูกต้องโมเดลขนาดใหญ่จะต้องคำนวณใหม่ซึ่งอาจทำให้เกิดการแหลมในเวลาแฝง [3] [9]

เฉพาะ Deepseek-R1

Deepseek-R1 รวมการปรับปรุงเช่นการทำนายแบบหลาย Token (MTP) และการถอดรหัสการเก็งกำไรที่ดีที่สุดซึ่งช่วยเพิ่มความเร็วในการอนุมาน MTP ช่วยให้ Deepseek-R1 สามารถทำนายโทเค็นหลายตัวในแบบคู่ขนานลดความหน่วงการถอดรหัสโดยไม่กระทบต่อการเชื่อมโยงกัน [4] การถอดรหัสการเก็งกำไรที่ดีที่สุดใน Deepseek-R1 ใช้การตรวจสอบข้อตกลงความน่าจะเป็นยอมรับการคาดการณ์ตามเกณฑ์ความเชื่อมั่นมากกว่าการจับคู่ที่แน่นอนซึ่งช่วยลดอัตราการปฏิเสธและเร่งการอนุมาน [4]

โดยรวมแล้วการถอดรหัสการเก็งกำไรสามารถเพิ่มประสิทธิภาพของ Deepseek-R1 ได้อย่างมีนัยสำคัญโดยการลดเวลาแฝงเฉลี่ยและปรับปรุงปริมาณงาน แต่อาจแนะนำความแปรปรวนในเวลาแฝงเนื่องจากกระบวนการตรวจสอบ

การอ้างอิง:
[1] https://centml.ai/resources/2x-inference-speed-on-r1
[2] https://iaee.substack.com/p/deepseek-r1-inituitively-and-exively
[3] https://www.theregister.com/2024/12/15/speculative_decoding/
[4] https://aman.ai/primers/ai/deepseek-r1/
[5] https://arxiv.org/html/2503.07807v1
[6] https://www.reddit.com/r/localllama/comments/1i64ffn/draft_model_speculative_decoding_performance_with/
[7] https://arxiv.org/html/2502.02789
[8] https://www.linkedin.com/posts/lamersrick_i-worked-on-this-speculative-decode-version-alctivity-7293321395000819712-8YVC
[9] https://predibase.com/blog/predibase.com/blog/deepseek-r1-self-distillation-turbo-speculation
[10] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/