При развертывании DeepSeek-R1 на AWS требования к хранению явно не подробно описаны с точки зрения конкретных служб хранения AWS. Тем не менее, сама модель требует значительного места для хранения для его весов. Например, полная модель DeepSeek-R1 изначально имеет след около 720 ГБ, хотя оптимизация может значительно уменьшить этот размер, например, до 131 ГБ с помощью методов квантования и сжатия [3].
Для развертывания AWS вам обычно нужно рассмотреть следующие аспекты:
1. Модель хранилища: Веса модели должны храниться в месте, доступном для ваших экземпляров AWS. Это может быть в ведре S3, которое обычно используется для хранения больших наборов данных и файлов моделей. Стоимость хранения модели в S3 зависит от региона и используемого класса хранения (например, Standard, Standard-IA, One Zone-IA и т. Д.).
2. Хранение экземпляров: при запуске модели на экземплярах EC2 вам понадобится достаточное хранилище для операционной системы, любое необходимое дополнительное программное обеспечение и потенциально временное хранилище для выходов моделей или промежуточных результатов. Это хранилище обычно обеспечивается корневым объемом экземпляра или дополнительными объемами EBS.
3. Это также можно управлять с помощью S3 или других служб хранения AWS, таких как EBS или объемы хранилища экземпляров.
С точки зрения конкретных услуг AWS, Amazon S3 часто используется для хранения весов модели из -за его масштабируемости и надежности. Для запуска модели обычно используются экземпляры Amazon EC2 с потребностями хранения в зависимости от типа экземпляра и конфигурации. Для крупномасштабных развертываний также можно использовать Amazon SageMaker, которая обеспечивает управляемую среду для задач машинного обучения, включая модельное хранение и вывод.
Для соображений затрат затраты на хранение в AWS зависят от конкретных используемых услуг. Например, затраты на хранение S3 варьируются в зависимости от класса и региона хранения, в то время как затраты на экземпляр EC2 включают как вычислительные, так и компоненты хранения. Кроме того, использование таких услуг, как SageMaker, может упростить управление этими затратами, предоставляя управляемую среду для задач ML.
Цитаты:
[1] https://dev.to/askyt/deepseek-r1-architecture-
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-infere-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fally- Managed Generally-adailable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-n-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu --hixrtfsasokh8gl-koga/pring-model-of-deepseek-r1-distill-lama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-ably-manged-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-trunking-deepseek-r1-on-vagon-cloud-desktops