DeepSeek-R1 모델의 엔드 투 엔드 대기 시간을 Amazon Sagemaker의 다른 모델과 비교하려면 모델 크기, 하드웨어 구성 및 특정 사용 사례를 포함한 몇 가지 요소를 평가해야합니다. 자세한 개요는 다음과 같습니다.
DeepSeek-R1 모델
DeepSeek-R1 모델, 특히 증류 변형은 높은 수준의 추론 기능을 유지하면서 효율적인 성능을 제공하도록 설계되었습니다. 이 모델은 1.5b, 7b, 8b, 14b, 32b 및 70b 매개 변수와 같은 다양한 크기로 제공되므로 사용자는 특정 요구 사항 및 사용 가능한 리소스를 기반으로 선택할 수 있습니다 [1] [4].
SAGEMAKER에 배치 할 때 이러한 모델은 특히 LMI (Large Model Onerference) 컨테이너를 사용할 때 표준을 줄이기 위해 투기 디코딩과 같은 기능을 활용할 수 있습니다 [1]. SAGEMAKER에서 DeepSeek-R1 증류 모델의 성능 평가는 엔드 투 엔드 대기 시간, 처리량, 첫 토큰 시간 및 톤 간 대기 시간과 같은 지표에 중점을 둡니다. 그러나 이러한 평가는 각 모델과 하드웨어 조합에 대해 최적화되지 않으므로 사용자는 최상의 성능을 달성하기 위해 자체 테스트를 수행해야 함을 시사합니다 [1] [4].
다른 모델과 비교
DeepSeek-R1 모델은 추론 기능 측면에서 OpenAi의 O1과 같은 다른 저명한 모델과 비교되었습니다. DeepSeek-R1은 많은 추론 벤치 마크에서 O1을 능가하지만 O1은 코딩 관련 작업에서 탁월합니다 [3]. 그러나 DeepSeek-R1과 Sagemaker의 O1과 같은 다른 모델 간의 특정 대기 시간 비교는 사용 가능한 정보에 자세히 설명되어 있지 않습니다.
SAGEMAKER의 대기 시간 최적화
Sagemaker의 DeepSeek-R1과 같은 모델의 대기 시간을 최소화하기 위해 몇 가지 전략을 사용할 수 있습니다.
-로드 인식 라우팅 :이 기능을 사용하면 SAGEMAKER가 부하가 가장 적은 인스턴스로 요청을 라우팅 할 수있어 임의의 라우팅에 비해 대기 시간을 최대 20% 줄입니다 [2].
- 세션 라우팅 (스티커 라우팅) : 동일한 세션의 요청이 동일한 인스턴스로 라우팅되도록하여 이전에 처리 된 정보를 재사용하여 성능을 향상시킵니다 [2].
-LOR (Understanding Requests) 라우팅 :이 전략은 가장 적은 미결제 요청이있는 인스턴스에 요청을 지시하여 대기 시간을 최적화하며, 이는 실시간 추론 워크로드에 특히 유리할 수 있습니다 [8].
결론
DeepSeek-R1과 Sagemaker의 다른 모델 간의 특정 엔드 투 엔드 대기 시간 비교는 제공되지 않지만 DeepSeek-R1 모델은 증류 된 변형을 통해 최적화 된 성능으로 경쟁력있는 추론 기능을 제공합니다. Sagemaker의 라우팅 전략을 활용하고 모델 배포 최적화를 통해 사용자는 AI 응용 프로그램에 대한 대기 시간을 낮추고 처리량을 개선 할 수 있습니다.
인용 :
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[2] https://www.youtube.com/watch?v=4B4tys4-0vw
[3] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-ranks-against-openais-o1
[4] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[5] https://www.reddit.com/r/machinelearning/comments/1bjn9dq/d_aws_sagemaker_warm_start_latencies_serverless/
[6] https://www.reddit.com/r/singularity/comments/1icwl73/notes_on_deepseek_r1_just_how_good_it_is_scompared/
[7] https://www.flotorch.ai/blog/speed-up-rag-experiments-on-aws-sagemaker-with-deepseek-r1-flotorch
[8] https://aws.amazon.com/blogs/machine-learning/minimize-real-time-inference-latency-by-using-amazon-sagemaker-routing-strateings/