인스턴스 유형의 선택은 AWS와 같은 클라우드 플랫폼에서 DeepSeek-R1을 실행하는 비용에 큰 영향을 미칩니다. 다음은 다양한 인스턴스 유형 및 구성이 비용에 영향을 미치는 방법에 대한 자세한 내용입니다.
1. 인스턴스 유형 및 가격 :
-AWS : AWS에서 DeepSeek-R1을 실행하는 비용은 선택한 인스턴스 유형에 따라 다릅니다. 예를 들어, ML.g5.2xlarge 인스턴스를 사용하면 대규모 추론 작업에 대한 성능과 비용의 균형이 적습니다 [4]. 그러나보다 집중적 인 계산의 경우 AWS Graviton4의 C8G.16xlarge와 같은 더 큰 인스턴스가 사용될 수 있으며, 이는 주문형 가격에 따라 한 달에 약 1,863 달러가 소요됩니다 [6]. 이는 EC2 저축 계획 또는 스팟 인스턴스로 줄어들 수 있으며 배치 추론 작업에 대한 상당한 할인을 제공합니다.
2. 성능 및 비용 최적화 :
-배치 대 실시간 추론 : 대규모 추론의 경우 더 큰 배치 크기를 사용하면 비용과 성능을 모두 최적화 할 수 있습니다. 오프라인 추론에 대한 배치 변환은 실시간이 아닌 대량으로 데이터를 처리함으로써 비용을 더욱 줄입니다 [4].
- 스팟 인스턴스 : 스팟 인스턴스를 사용하면 주문형 가격에 비해 최대 90% 할인을 제공 할 수 있으므로 중단이 관리 가능한 배치 처리에 이상적입니다 [6].
3. 하드웨어 고려 사항 :
-GPU vs. CPU : NVIDIA H100과 같은 GPU는 강력하지만 비용이 많이 듭니다. 특히 전문가 (MOE) 아키텍처를 사용하는 DeepSeek-R1과 같은 모델의 경우 Ample RAM이있는 CPU를 사용하는 것이 더 비용 효율적일 수 있습니다 [8].
-대체 제공 업체 : Azure 또는 Tier 2 클라우드 제공 업체의 AMD MI300 노드를 고려하면 고급 GPU 구성에 비해 비용이 많이 드는 비율을 제공 할 수 있습니다 [8].
4. 비용 절감 전략 :
-예약 된 인스턴스 : 예약 된 인스턴스에 커밋하면 장기 사용을 위해 주문형 가격에 대해 상당한 할인을 제공 할 수 있습니다.
- 자동 스케일링 : 자동 스케일링을 통한 주문형 인스턴스와 스팟 인스턴스를 혼합하면 가용성과 비용의 균형이 맞습니다.
-최적화 된 가격 책정 모델 : 일부 제공 업체는 고정 당 가격을 제공하며, 이는 컴퓨팅 리소스 지불에 비해 간헐적 인 AI 요구에 더 비용 효율적일 수 있습니다 [1].
요약하면, 인스턴스 유형의 선택은 성능과 자원 소비 사이의 균형에 영향을 미침으로써 비용에 영향을 미칩니다. 특정 워크로드 요구 사항을 기반으로 인스턴스 선택 최적화, 스팟 인스턴스와 같은 비용 절약 전략을 활용하며 대체 하드웨어 옵션을 고려하면 DeepSeek-R1을 실행하는 전체 비용을 크게 줄일 수 있습니다.
인용 :
[1] https://campustechnology.com/articles/2025/02/04/aws-microsoft-google-others-make-deepseek-r1-ai-model-available-on-their-platforms.aspx?admgarea=news
[2] https://www.linkedin.com/posts/zhu-liang_deepseek-r1-is-better-better-72881497271280128-vuyu
[3] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-san-o3-----oplects
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-modelof-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-llama-for-batch-inference-on-aws-graviton4?lang=en
[7] https://www.reddit.com/r/localllama/comments/1ibm5u3/how_can_we_be_so_so_sure_the_training_of_deepseek_r1/
[8] https://www.reddit.com/r/localllama/comments/1icukfm/running_deepseek_r1_on_aws_cost_hardware/