AWS에서 DeepSeek-R1의 확장 성을 보장하려면 AWS의 강력한 인프라 및 서비스를 활용하는 몇 가지 전략이 포함됩니다. 확장 성을 달성하는 방법에 대한 자세한 안내서는 다음과 같습니다.
1. 서버리스 배포에 Amazon Bedrock 사용 **
Amazon Bedrock은 DeepSeek-R1 모델을 배포하기위한 완전히 관리되고 서버리스 환경을 제공합니다. 이 서비스는 자동으로 스케일링을 처리하여 수동 인프라 관리가 필요하지 않습니다. Amazon S3 또는 Amazon Sagemaker AI 모델 저장소에서 DeepSeek-R1 모델을 기반암으로 가져올 수 있습니다. 이 접근법은 광범위한 기술 설정 또는 유지 보수없이 엔터프라이즈 등급 보안 및 확장 성을 제공합니다 [4] [11].2. 사용자 정의 및 훈련을 위해 Amazon Sagemaker를 활용하십시오 **
DeepSeek-R1 모델의 배포 및 사용자 정의를보다 제어하려면 Amazon Sagemaker가 이상적입니다. Sagemaker를 사용하면 기본 인프라에 액세스 할 수있는 모델을 교육, 미세 조정 및 배포 할 수 있습니다. Sagemaker의 대형 모델 추론 컨테이너를 사용하여 대규모 추론 작업의 성능 및 비용을 최적화 할 수 있습니다 [9].3. 사용자 정의 인프라에 Amazon EC2를 활용 **
인프라를 제어하여보다 전통적인 접근 방식을 선호하는 경우 Amazon EC2가 좋은 옵션입니다. gpu 워크로드에 최적화 된`g4dn.xlarge` 또는`trn1` 인스턴스와 같은 EC2 인스턴스에 DeepSeek-R1 모델을 배포 할 수 있습니다. 이 방법은 인프라를 직접 설정하고 관리해야하지만 인스턴스 유형 및 구성 측면에서 유연성을 제공해야합니다 [1] [7].4. API 게이트웨이 및 EKS로 자동 스케일링 구현 **
확장 성 아키텍처의 경우 API 게이트웨이를 API 호출의 진입 점으로 사용하는 것을 고려하십시오. 이는 트래픽을 관리하는 데 도움이되고 요금 제한 및 보안과 같은 기능을 제공합니다. 이를 Amazon Elastic Kubernetes Service (EKS)와 결합하여 수요에 따라 컨테이너화 된 응용 프로그램을 동적으로 확장하십시오. EKS는 효율적인 리소스 활용과 머신 러닝 모델의 더 쉬운 관리를 허용합니다 [10].5. 성능 모니터링 및 최적화 **
성능 메트릭을 모니터링하고 비용 최적화를 위해 Amazon CloudWatch를 사용하십시오. 대규모 추론의 경우 더 큰 배치 크기를 사용하여 비용과 성능을 최적화하십시오. 비용을 절감하기 위해 오프라인, 대량 추론에 배치 변환을 사용하는 것을 고려하십시오 [9].6. 보안 및 규정 준수 보장 **
가상 프라이빗 클라우드 (VPC) 네트워킹, 서비스 역할 권한 및 암호화 설정과 같은 고급 보안 설정을 구성하십시오. Amazon Bedrock과 Sagemaker는 데이터 개인 정보 보호 및 규제 준수를 유지하기위한 엔터프라이즈 등급 보안 기능을 제공합니다 [9] [11].7. 비용 효율적인 가격 책정 모델 사용 **
AWS는 사용에 따라 비용 효율적인 가격 책정 모델을 제공합니다. DeepSeek-R1과 같은 공개 된 모델의 경우 사용 된 인프라에 대해서만 요금이 부과됩니다. Amazon Bedrock Custom Model Import를 사용하면 5 분 동안 Windows에서 청구되는 활성 모델 사본을 기반으로 청구됩니다 [7].이러한 전략을 구현함으로써 AWS에 대한 DeepSeek-R1 배포가 확장 가능하고 안전하며 비용 효율적인지 확인할 수 있습니다.
인용 :
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/32
[3] https://crossasyst.com/blog/deepseek-r1-o-aws-bedrock/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import/
[5] https://www.youtube.com/watch?v=1AQ_JU70QHQ
[6] https://www.byteplus.com/en/topic/409076
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-oaws/
[8] https://www.reddit.com/r/aws/comments/1ics9sf/how_to_deploy_deepseek_r1_on_eks/
[9] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[10] https://www.reddit.com/r/aws/comments/1i8v9w5/scalable_deepseek_r1/
[11] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ly-generally-available
[12] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/