AWS에 DeepSeek-R1을 배포 할 때 스토리지 요구 사항은 특정 AWS 스토리지 서비스 측면에서 명시 적으로 상세하지 않습니다. 그러나 모델 자체는 가중치에 대한 상당한 저장 공간이 필요합니다. 예를 들어, 전체 DeepSeek-R1 모델은 원래 약 720GB의 발자국을 가지고 있지만, 최적화는 양자화 및 압축 기술을 통해 131GB 까지이 크기를 크게 줄일 수 있습니다 [3].
AWS 배포의 경우 일반적으로 다음 측면을 고려해야합니다.
1. 모델 스토리지 : 모델 가중치는 AWS 인스턴스가 액세스 할 수있는 위치에 저장해야합니다. 이것은 S3 버킷에있을 수 있으며, 이는 일반적으로 큰 데이터 세트 및 모델 파일을 저장하는 데 사용됩니다. S3에 모델을 저장하는 비용은 영역 및 사용 된 스토리지 클래스 (예 : 표준, 표준 -IA, 하나의 영역 -IA 등)에 따라 다릅니다.
2. 인스턴스 스토리지 : EC2 인스턴스에서 모델을 실행할 때는 운영 체제에 충분한 스토리지, 필요한 추가 소프트웨어 및 모델 출력 또는 중간 결과를위한 잠재적으로 임시 스토리지가 필요합니다. 이 스토리지는 일반적으로 인스턴스의 루트 볼륨 또는 추가 EBS 볼륨에 의해 제공됩니다.
3. 추론을위한 데이터 저장 : 추론 작업에 모델을 사용하는 경우 입력 데이터 및 출력 결과를위한 추가 스토리지가 필요할 수 있습니다. 이는 S3 또는 EBS 또는 인스턴스 저장소 볼륨과 같은 다른 AWS 스토리지 서비스를 통해 관리 할 수도 있습니다.
특정 AWS 서비스 측면에서 Amazon S3는 종종 확장 성과 신뢰성으로 인해 모델 가중치를 저장하는 데 사용됩니다. 모델을 실행하기 위해 Amazon EC2 인스턴스는 일반적으로 인스턴스 유형 및 구성에 따라 스토리지 요구 사항을 사용합니다. 대규모 배치의 경우 Amazon Sagemaker도 활용하여 모델 저장 및 추론을 포함한 기계 학습 작업을위한 관리 환경을 제공 할 수 있습니다.
비용 고려 사항의 경우 AWS의 스토리지 비용은 사용 된 특정 서비스에 따라 다릅니다. 예를 들어, S3 스토리지 비용은 스토리지 클래스 및 지역에 따라 다르며 EC2 인스턴스 비용에는 컴퓨팅 및 스토리지 구성 요소가 모두 포함됩니다. 또한 Sagemaker와 같은 서비스를 사용하면 ML 작업을위한 관리 환경을 제공하여 이러한 비용의 관리를 단순화 할 수 있습니다.
인용 :
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ly-generally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-modelof-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-oaws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-ly-ly-naged-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops