GPU 인스턴스를 사용하여 AWS에서 DeepSeek-R1의 성능을 최적화하면 몇 가지 주요 전략이 필요합니다.
1. 올바른 GPU 인스턴스 선택 **
DeepSeek-R1의 최적 성능을 위해서는 충분한 메모리 및 컴퓨팅 전력을 제공하는 GPU 기반 인스턴스 유형을 선택하는 것이 중요합니다. ML.P5E.48XLARGE 인스턴스는 8 NVIDIA H200 GPU와 함께 제공되므로 1128GB의 GPU 메모리를 제공하며 DeepSeek-R1과 같은 대형 모델을 처리하는 데 필수적입니다 [9]. ML.G6E.12XLARGE 및 ML.G6E.48XLARGE와 같은 다른 인스턴스도 다양한 DeepSeek-R1 증류 모델에 대해 우수한 성능을 보여주었습니다 [1].2. GPUS를 가로 지르는 모델 샤딩 **
다수의 GPU가있는 인스턴스를 사용하면 사용 가능한 모든 GPU에 대한 모델을 샤드하면 성능이 크게 향상 될 수 있습니다. 이를 통해 모델을 병렬로 분산 및 처리하여 처리량을 향상시키고 대기 시간을 줄일 수 있습니다 [1].3. 모델 구성 최적화 **
최적화 된 매개 변수가 장착 된 대형 모델 추론 (LMI) 컨테이너를 사용하면 더 나은 성능을 달성하는 데 도움이 될 수 있습니다. 예를 들어,`max_model_len`을 적절한 값으로 설정하면 청킹 또는 접두사 캐싱없이 긴 입력 시퀀스를 효율적으로 처리 할 수 있습니다 [1].4. 동시성 및 배치 크기 **
동시성을 증가시키고 더 큰 배치 크기를 사용하면 특히 실시간 추론 시나리오에서 처리량이 향상 될 수 있습니다. 그러나 인스턴스에 과부하를 피하기 위해 가용 리소스와 동시성의 균형을 맞추는 것이 중요합니다 [1].5. 소프트웨어 최적화 **
NVIDIA NIM과 같은 프레임 워크에서 사용 가능한 소프트웨어 최적화를 활용하면 성능을 더욱 향상시킬 수 있습니다. 이러한 최적화는 배포를 단순화하고 에이전트 AI 시스템의 고효율을 보장 할 수 있습니다 [4].6. 모니터링 및 테스트 **
특정 데이터 세트 및 트래픽 패턴으로 항상 철저한 테스트를 수행하여 사용 사례에 대한 최적의 구성을 식별하십시오. 여기에는 엔드 투 엔드 대기 시간, 처리량, 첫 토큰까지의 시간 및 고상한 대기 시간을 평가하는 것이 포함됩니다 [1].7. 비용 효율 **
성능에 중점을 두는 동안 저축 계획 또는 비실한 작업에 대한 스팟 인스턴스를 활용하여 비용 효율성을 고려하십시오. 이것은 예산 제약으로 성능 요구의 균형을 맞출 수 있습니다 [3].이러한 전략을 구현하면 GPU 인스턴스를 사용하여 AWS에서 DeepSeek-R1의 성능을 효과적으로 최적화 할 수 있습니다.
인용 :
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[2] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-oaws/
[3] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-batch-inference-on-aws-graveiton4?lang=en
[4] https://blogs.nvidia.com/blog/deepseek-r1-nim-microservice/
[5] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[6] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops
[7] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[8] https://www.reddit.com/r/aws/comments/1i8v9w5/scalable_deepseek_r1/
[9] https://aws.amazon.com/blogs/machine-learning/deepseek-r1-model-now-avail-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/
[10] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-oaws?lang=en