Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon Чи є якісь рекомендовані екземпляри AWS для ефективного запуску DeepSeek-R1


Чи є якісь рекомендовані екземпляри AWS для ефективного запуску DeepSeek-R1


Запуск DeepSeek-R1 ефективно на AWS вимагає вибору правильних типів екземплярів на основі конкретного варіанту моделі та бажаної продуктивності. Ось детальний огляд рекомендованих екземплярів AWS для різних моделей DeepSeek-R1:

DeepSeek-R1 (повна модель)

Повна модель DeepSeek-R1 з 671 мільярдами параметрів вимагає істотних обчислювальних ресурсів. Для оптимальної продуктивності рекомендується багатогранна установка, наприклад, використання графічних процесорів NVIDIA A100. Однак AWS не пропонує безпосередньо графічних процесорів A100 у своїх стандартних екземплярах EC2. Натомість ви можете розглянути можливість використання таких екземплярів, як `Inf2.48xLarge` для подібних високоефективних обчислювальних потреб, хоча вони більше підходять для прискорення висновку, а не підготовки великих моделей, таких як DeepSeek-R1 [4].

DeepSeek-R1 дистильовані моделі

Для дистильованих версій DeepSeek-R1, які є більш ефективними та потребують менше VRAM, можна використовувати різні екземпляри AWS:

-DeepSeek-R1-Distill-Qwen-1.5b: Ця модель може бути ефективно запущена в одному екземплярі GPU. Екземпляр `ml.g5.xlarge` рекомендується для розміщення цієї моделі завдяки її показникам продуктивності [3].

-DeepSeek-R1-Distill-Qwen-7B та DeepSeek-R1-Distill-Llama-8b: Ці моделі добре працюють на таких випадках, як `ml.g6e.xlarge`, який пропонує хороший баланс потужності та витрат GPU. Екземпляри `ml.g5.2xlarge` та` ml.g5.xlarge` також є життєздатними параметрами [3].

-DeepSeek-R1-Distill-Qwen-14B: Для цієї моделі потрібен екземпляр із більш потужним GPU. Екземпляр `g4dn.xlarge`, який має графічні процесори NVIDIA T4, може бути недостатнім через його обмеження VRAM. Натомість подумайте про використання екземплярів із більш потужними графічними процесорами, як у сімействі `ml.g6`, або вибрати спеціальну установку з графічними процесорами вищого класу, якщо вони є [1] [2].

-DeepSeek-R1-Distill-Qwen-32B та DeepSeek-R1-Distill-Llama-70B: Ці великі моделі потребують ще більш потужних графічних процесорів. Для оптимальних показників рекомендується екземпляри з високим класом, такими як NVIDIA RTX 4090, хоча такі конкретні графічні процесори не доступні безпосередньо в стандартних екземплярах AWS EC2. Однак ви можете використовувати такі екземпляри, як `Inf2.48xLarge` для високоефективних завдань у висновку [4] [6].

Розгортання на базі процесора

Для завдань пакетної обробки, де затримка не є критичним фактором, екземпляри на основі AWS Graviton4 можуть запропонувати економічно вигідне рішення. Екземпляр `C8g.16xlarge`, з його високою кількістю ядра та пропускною здатністю пам'яті, підходить для запуску таких моделей, як DeepSeek-R1-Distill-Llama-70b у середовищі, що стосується лише процесора [6].

повністю керовані рішення

Для користувачів, які вважають за краще не керувати інфраструктурою, DeepSeek-R1 також доступний як повністю керована модель без серверів в Amazon Bedrock. Цей варіант дозволяє використовувати можливості моделі, не турбуючись про основні складності інфраструктури [9].

Підсумовуючи це, вибір екземпляра AWS для роботи DeepSeek-R1 ефективно залежить від конкретного варіанту моделі, необхідного рівня продуктивності та того, чи необхідне прискорення GPU. Для більшості дистильованих моделей рекомендується екземпляри з потужними графічними процесорами, тоді як екземпляри на основі процесора можуть бути придатними для завдань пакетної обробки.

Цитати:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
.
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
.
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distill-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-tly-managed-serverless-model-in-amazon-bedrock/