AWS에서 DeepSeek-R1의 성능을 최적화하려면 여러 네트워크 설정 및 구성이 포함됩니다. 다음은 성능 향상 방법에 대한 자세한 개요입니다.
1. EC2 인스턴스 구성 **
- 인스턴스 유형 :`g4dn.xlarge`와 같은 충분한 GPU 전원을 갖춘 인스턴스 유형을 선택하는 것은 DeepSeek-R1 모델을 효율적으로 실행하는 데 중요합니다. 이 인스턴스 유형은 GPU 가속도에 필수적인 NVIDIA 그리드 드라이버를 지원합니다 [1].- 네트워크 설정 : 기본 VPC 설정을 사용하고 EC2 인스턴스가 배포되는 가용성 영역을 선택하십시오. 이를 통해 인스턴스가 네트워크 내에서 잘 연결되어 있고 액세스 할 수 있습니다 [1].
2. 보안 그룹 **
- 특정 인바운드 규칙으로 새 보안 그룹을 구성하십시오.-HTTP 트래픽 : 신뢰할 수있는 IP 범위 (예 : "내 IP")에서 HTTP 트래픽을 허용하여 모델에 대한 웹 액세스를 가능하게합니다.
-PORT 3000의 TCP 트래픽 : VPC CIDR 범위에서 TCP 트래픽을 허용하여 애플리케이션로드 밸런서와의 통신을 용이하게합니다.
-HTTPS 트래픽 : 안전한 통신을 위해 VPC CIDR 범위에서 HTTPS 트래픽을 허용합니다 [1].
3. 응용 부하 밸런서 (ALB) **
-계획 : 인터넷을 향한 ALB를 설정하여 DeepSeek-R1 모델을 외부 트래픽에 노출시킵니다.-로드 밸런스 IP 주소 유형 : 단순성과 호환성을 위해 IPv4를 사용하십시오.
- 네트워크 설정 : 기본 VPC 설정 및 EC2 인스턴스와 동일한 가용성 영역을 선택하십시오.
- 보안 그룹 : EC2 구성 중에 생성 된 보안 그룹을 사용하여 일관된 액세스 제어를 보장합니다 [1].
4. 대상 그룹 구성 **
- 대상 유형 : 대상 유형으로 "인스턴스"를 선택합니다.- 포트 : 포트 3000을 사용하여 DeepSeek-R1 모델을 실행하는 EC2 인스턴스로 트래픽을 전달하십시오.
- 대상 그룹 이름 : 쉽게 식별 할 수 있도록 대상 그룹 (예 : "DeepSeek-TG")을 지정하십시오 [1].
5. 향상된 성능을위한 Amazon Sagemaker **
-모델 배포 : 자동 스케일링 및 탄성로드 밸런싱과 같은 기능을 제공하는 Amazon Sagemaker를 사용하여 DeepSeek-R1 모델 배포를 고려하십시오. 이것은 반응성과 확장 성을 향상시킬 수있다 [3] [4].- 개인 S3 버킷 : 개인 S3 버킷에 모델 가중치를 저장하여 대기 시간을 줄이고 모델 데이터를 AWS 계정 내에 유지하여 보안을 향상시킵니다 [3].
6. 최적화 모범 사례 **
- 프롬프트 최적화 : Amazon Bedrock의 프롬프트 최적화와 같은 기술을 사용하여 DeepSeek-R1 모델의 추론 기능을 향상시킵니다 [7].- 지역 선택 : 대기 시간을 최소화하고 비용을 최적화하기 위해 사용자와 가장 가까운 AWS 지역을 선택하십시오 [6].
이러한 네트워크 설정 및 구성을 구현하면 AWS에서 DeepSeek-R1의 성능을 최적화하여 효율적이고 확장 가능하며 안전한 모델 배포를 보장 할 수 있습니다.
인용 :
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://northflank.com/blog/self-host-deepseek-r1-on-aws-gcp-azure-n-k8s-in-three-easy-steps
[3] https://aws.amazon.com/blogs/machine-learning/optimize-host-host-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://repost.aws/questions/quzc1_jmmesbmpauozqh5jca/guidance-on-aws-deepseek-ai-pricing-and-deployment-options
[6] https://crossasyst.com/blog/deepseek-r1-o-aws-bedrock/
[7] https://aws.amazon.com/blogs/machine-learning/optimize-reasoning-models-like-deepseek-prompt-optimization-on-amazon-bedrock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-oaws/