AWS에 DeepSeek 모델을 배포하려면 신중한 계획 및 설정이 필요합니다. 다음은 DeepSeek 모델, 특히 DeepSeek-R1 및 증류 변이체를 AWS에 배치하기위한 자세한 전제 조건 및 고려 사항입니다.
1. AWS 계정 및 IAM 역할 **
AWS에 DeepSeek 모델을 배치하려면 적절한 AWS ID 및 액세스 관리 (IAM) 역할 및 권한이있는 AWS 계정이 필요합니다. 이를 통해 Amazon Bedrock, Sagemaker 및 EC2 [1] [4]와 같은 AWS 서비스에 필요한 액세스 권한이 있습니다.2. 하드웨어 요구 사항 **
DeepSeek-R1 모델, 특히 전체 671 억 파라미터 버전에는 상당한 하드웨어 리소스가 필요합니다. 최적의 성능을 얻으려면 고성능 GPU, 상당한 RAM 및 충분한 저장 공간이 필요합니다. 예를 들어, 적당한 속도로 DeepSeek-R1을 실행하려면 이중 EPYC CPU와 384GB RAM이있는 설정이 필요합니다 [8]. AWS를 사용할 때는 AWS Trainium 또는 Ferentia Chips를 사용하여 EC2 인스턴스를 활용하여 더 나은 성능과 비용 효율성을 활용할 수 있습니다 [9].3. AWS 서비스 선택 **
AWS는 다양한 기능과 비용 고려 사항을 갖춘 DeepSeek 모델을 배포하기위한 여러 서비스를 제공합니다.-Amazon Bedrock : API를 통해 미리 훈련 된 모델을 빠르게 통합하는 데 이상적입니다. 이를 통해 기반암 사용자 정의 모델 가져 오기를 사용하여 사용자 정의 모델을 가져올 수 있으며 배포에 대한 유연성과 제어를 제공합니다 [1] [9].
-Amazon Sagemaker : Sagemaker Jumpstart 또는 대형 모델 추론 컨테이너와 같은 서비스를 사용하여 DeepSeek 모델을 배포하고 관리 할 수있는 관리 된 기계 학습 환경을 제공합니다. 이것은 사용 편의성과 사용자 정의 사이의 균형을 원하는 사람들에게 적합합니다 [4] [9].
-Amazon EC2 : 최적의 가격 성능을 위해 특정 하드웨어 구성에 모델을 배포 할 수있는 유연성을 제공합니다. 이것은 배포 환경에 대한 정확한 제어가 필요할 때 특히 유용합니다 [9].
4. 모델 선택 **
DeepSeek-R1 모델은 Meta 's Llama 및 Hugging Face의 Qwen과 같은 아키텍처를 기반으로 한 증류 버전을 포함하여 다양한 크기로 제공됩니다. 이 모델의 범위는 15 억에서 70 억의 매개 변수로 성능과 자원 요구 사항간에 다양한 트레이드 오프를 제공합니다. 8B 버전과 같은 소규모 모델은 비용 효율적이고 빠릅니다. 70B 버전과 같은 대규모 모델은 원래 671 억 파라미터 모델 [1] [4]와 더 밀접한 성능을 제공합니다.5. 비용 고려 사항 **
AWS에 DeepSeek 모델을 배포 할 때 비용은 모델 크기, 사용 된 AWS 서비스 및 배포 지역에 따라 크게 다를 수 있습니다. 더 큰 모델은 일반적으로 더 높은 계산 요구 사항으로 인해 비용이 많이 듭니다. AWS Cost Explorer [9]를 사용하여 Amazon CloudWatch를 사용하여 사용을 모니터링하고 비용을 관리하는 것이 좋습니다.6. 성능 최적화 **
성능 및 비용을 최적화하려면 모델 최적화를 위해 Amazon Sagemaker NEO를 사용하는 것을 고려하고 동적 리소스 할당을위한 자동 스케일링을 구현하고 실제 사용량을 기반으로 스케일링하기 전에 동시성 할당량이 낮은 상태로 시작하십시오 [9].이러한 전제 조건과 고려 사항을 신중하게 평가함으로써 AWS 서비스의 확장 성과 유연성을 활용하여 특정 요구 사항을 충족시키기 위해 DeepSeek 모델을 효과적으로 배포 할 수 있습니다.
인용 :
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import/
[2] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[3] https://www.byteplus.com/en/topic/385753
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://apxml.com/posts/system-requirements-deepseek-models
[6] https://www.byteplus.com/en/topic/405073
[7] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[8] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[9] https://repost.aws/questions/quzc1_jmmesbmpauozqh5jca/guidance-on-aws-deepseek-ai-precing-and-deployment-options
[10] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[11] https://timesofindia.indiatimes.com/technology/tech-tips/how-to-use-deepseek-laptop-system-requirements-to-download-the-software-and-more/articleshow/117619851.cms