Розгортаючи DeepSeek-R1 на AWS, вимоги до зберігання не чітко детально описані з точки зору конкретних послуг зберігання AWS. Однак сама модель вимагає значного місця для зберігання для своїх ваг. Наприклад, спочатку модель DeepSeek-R1 спочатку має слід близько 720 Гб, хоча оптимізація може значно зменшити цей розмір, наприклад, до 131 Гб за допомогою методів квантування та стиснення [3].
Для розгортання AWS, як правило, потрібно враховувати такі аспекти:
1. Зберігання моделі: ваги моделі повинні зберігатися у місцях, доступному вашим екземпляром AWS. Це може бути у відрі S3, яке зазвичай використовується для зберігання великих наборів даних та файлів моделей. Вартість зберігання моделі в S3 залежить від регіону та використовуваного класу зберігання (наприклад, Standard, Standard-IA, One Zone-IA тощо).
2. Зберігання екземплярів: Під час запуску моделі на екземплярах EC2 вам знадобиться достатнє зберігання для операційної системи, будь -яке необхідне додаткове програмне забезпечення та потенційно тимчасове зберігання для модельних виходів або проміжних результатів. Це зберігання, як правило, забезпечується об'ємом кореня екземпляра або додатковими обсягами EBS.
3. Зберігання даних для висновку: Якщо ви використовуєте модель для завдань для висновку, можливо, вам знадобиться додаткове зберігання вхідних даних та результатів виводу. Це також можна керувати через S3 або інші послуги зберігання AWS, такі як EBS або обсяги магазину екземплярів.
Що стосується конкретних послуг AWS, Amazon S3 часто використовується для зберігання модельних ваг за рахунок масштабованості та надійності. Для запуску моделі зазвичай використовуються екземпляри Amazon EC2, з потребами зберігання залежно від типу та конфігурації екземпляра. Для масштабних розгортань також може бути використаний Amazon SageMaker, що забезпечує кероване середовище для завдань машинного навчання, включаючи зберігання моделей та висновки.
Для міркувань щодо витрат витрати на зберігання в AWS залежать від конкретних використовуваних послуг. Наприклад, витрати на зберігання S3 залежать від класу зберігання та регіону, тоді як витрати на екземпляри EC2 включають як компоненти обчислення, так і зберігання. Крім того, використання таких послуг, як SageMaker, може спростити управління цими витратами, забезпечуючи кероване середовище для завдань ML.
Цитати:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distill-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-tly-managed-generally-avable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distill-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
.
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leverage-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-tly-managed-serverless-model-in-amazon-bedrock/
[.