Podczas wdrażania DeepSeek-R1 na AWS wymagania dotyczące przechowywania nie są wyraźnie szczegółowe pod względem określonych usług magazynowych AWS. Jednak sam model wymaga znacznej przestrzeni do przechowywania swoich wag. Na przykład pełny model DeepSeek-R1 pierwotnie ma powierzchnię około 720 GB, chociaż optymalizacje mogą znacznie zmniejszyć ten rozmiar, na przykład do 131 GB dzięki technikom kwantyzacji i kompresji [3].
W przypadku wdrożeń AWS zwykle musisz rozważyć następujące aspekty:
1. Modelowa pamięć: Wagi modelu muszą być przechowywane w miejscu dostępnym w twoich instancjach AWS. Może to być w wiadrze S3, które jest powszechnie używane do przechowywania dużych zestawów danych i plików modeli. Koszt przechowywania modelu w S3 zależy od zastosowanej regionu i klasy pamięci (np. Standard, standard-IA, jedna strefa itp.).
2. Przechowywanie instancji: Podczas uruchamiania modelu w instancjach EC2 potrzebujesz wystarczającej pamięci dla systemu operacyjnego, wszelkich wymaganych dodatkowych oprogramowania i potencjalnie tymczasowego przechowywania dla wyjść modeli lub wyników pośrednich. Ta pamięć jest zazwyczaj dostarczana przez objętość korzenia instancji lub dodatkowe objętości EBS.
3. Przechowywanie danych do wnioskowania: Jeśli używasz modelu do zadań wnioskowania, możesz potrzebować dodatkowego przechowywania danych wejściowych i wyników wyjściowych. Można to również zarządzać za pośrednictwem S3 lub innych usług magazynowych AWS, takich jak EBS lub tomy sklepów instancji.
Jeśli chodzi o określone usługi AWS, Amazon S3 jest często używany do przechowywania wag modeli ze względu na jego skalowalność i niezawodność. Do uruchamiania modelu powszechnie używane są instancje Amazon EC2, z potrzebami pamięci w zależności od rodzaju instancji i konfiguracji. W przypadku wdrożeń na dużą skalę można również wykorzystać Amazon Sagemaker, który zapewnia zarządzane środowisko dla zadań uczenia maszynowego, w tym przechowywania i wnioskowania modelu.
W przypadku rozważań dotyczących kosztów koszty przechowywania AWS zależą od konkretnych używanych usług. Na przykład koszty pamięci S3 różnią się w zależności od klasy pamięci i regionu, podczas gdy koszty instancji EC2 obejmują zarówno komponenty obliczeniowe, jak i pamięci. Ponadto korzystanie z usług takich jak SageMaker może uprościć zarządzanie tymi kosztami, zapewniając zarządzane środowisko dla zadań ML.
Cytaty:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-dployment-andhardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-loarning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ally-ananaged-genelally-available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pring-model-of-deepseek-r1-distill-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-ow-avaailable-as-a-ly-mananaged-serless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-running-deepseek-r1-on-vagon-cloud-desktops