DeepSeek-R1의 캐싱 전략은 반복 쿼리와 관련된 대기 시간 및 계산 비용을 크게 줄임으로써 투기 디코딩을 지원합니다. 이 두 구성 요소가 상호 작용하는 방법은 다음과 같습니다.
DeepSeek-R1의 캐싱 전략
DeepSeek-R1은 자주 사용되는 프롬프트 및 응답을 저장하는 정교한 캐싱 메커니즘을 사용합니다. 이 캐싱 시스템은 캐시 히트와 캐시를 효율적으로 처리하도록 설계되었습니다.
-Cache Hits : 쿼리가 캐시 된 응답과 일치하면 시스템이 저장된 결과를 다시 계산하는 대신 검색합니다. 이것은 대기 시간을 줄일뿐만 아니라 비용을 크게 줄입니다. 캐시 히트의 경우, 캐시 미스의 경우 백만 달러당 0.14 달러에 비해 백만 토큰 당 0.014 달러로 비용이 상당히 낮습니다 [1] [5].
- 캐시 누락 : 쿼리가 캐시 된 응답과 일치하지 않으면 시스템은 새로운 요청으로 처리합니다. 그러나 이러한 경우에도 캐싱 메커니즘은 시간이 지남에 따라 중복 계산의 필요성을 줄임으로써 도움이됩니다.
deepseek-r1의 투기 디코딩
투기 디코딩은 DeepSeek-R1이 순차적으로보다는 여러 토큰을 병렬로 예측할 수있는 기술입니다. 이 접근법은 각 토큰이 생성되고 검증되기를 기다리는 데 소요 된 시간을 줄임으로써 텍스트 생성을 가속화합니다 [2] [10].
-병렬 토큰 예측 : DeepSeek-R1은 다중 점화 예측 (MTP)을 사용하여 토큰을 동시에 생성합니다. 이 방법은 일관성을 손상시키지 않으면 서 추론 속도를 향상시켜 특히 긴 형태의 텍스트 생성에 특히 효과적입니다 [2].
- 확률 적 합의 확인 : 모델은 정확한 일치가 아닌 신뢰 임계 값에 기초하여 예측을 받아 들여 거부율을 줄이고 추론 속도를 높입니다 [2].
캐싱과 투기 디코딩 사이의 상호 작용
캐싱 전략은 여러 가지 방법으로 투기 디코딩을 지원합니다.
1. 대기 시간 감소 : 캐시 된 응답을 신속하게 검색함으로써 시스템은 투기 디코딩을 사용하여 새로운 컨텐츠를 생성하는 데 중점을 두어 반복 및 새로운 쿼리를 처리하는 데있어 전반적인 효율성을 유지할 수 있습니다.
2. 비용 효율성 : 캐싱으로 인한 비용 절감으로 인해 사용자는 더 많은 리소스를 투기 디코딩에 할당 할 수있게하여 과도한 비용을 발생시키지 않고 더 빠르고 효율적인 텍스트 생성을 가능하게합니다.
3. 개선 된 성능 : 캐싱은 자주 액세스하는 정보를 쉽게 이용할 수 있도록하여 투기 디코딩의 토큰을 병렬로 예측하는 능력을 보완합니다. 이 조합은 빠르고 정확한 텍스트 생성이 필요한 작업에서 모델의 성능을 향상시킵니다.
요약하면, DeepSeek-R1의 캐싱 전략은 반복 쿼리와 관련된 대기 시간 및 비용을 최소화함으로써 투기 디코딩 사용을 최적화하여 모델이 새로운 컨텐츠를 효율적이고 효과적으로 생성하는 데 집중할 수 있습니다.
인용 :
[1] https://dev.to/fallon_jimmy/zero-code-guide-to-mastering-deepseek-r1-api-4e20
[2] https://aman.ai/primers/ai/deepseek-r1/
[3] https://www.modular.com/ai-resources/exploring-deepseek-r1-smixture-of-experts-model-architecture
[4] https://docs.openvino.ai/nightly/notebooks/deepseek-r1-with output.html
[5] https://api-docs.deepseek.com/news/news0802
[6] https://www.reddit.com/r/localllama/comments/1i64ffn/draft_model_speculative_decoding_performance_with/
[7] https://iaee.substack.com/p/deepseek-r1-intuitiality-and-exhaustically
[8] https://www.techrxiv.org/users/900680/articles/1276141/mas
[9] https://www.datacamp.com/tutorial/deepseek-api
[10] https://predibase.com/blog/predibase.com/blog/deepseek-r1-self-distillation-turbo-speculation
[11] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/