Эффективно работа DeepSeek-R1 на AWS требует выбора правильных типов экземпляров на основе конкретного варианта модели и желаемой производительности. Вот подробный обзор рекомендуемых экземпляров AWS для различных моделей DeepSeek-R1:
deepseek-r1 (полная модель)
Полная модель DeepSeek-R1 с 671 миллиардами параметров требует существенных вычислительных ресурсов. Для оптимальной производительности рекомендуется настройка с несколькими GPU, такую как использование графических процессоров NVIDIA A100. Тем не менее, AWS напрямую не предлагает A100 графических процессоров в своих стандартных экземплярах EC2. Вместо этого вы можете рассмотреть возможность использования таких экземпляров, как `inf2.48xlarge` для аналогичных высокопроизводительных потребностей в вычислениях, хотя они больше подходят для ускорения вывода, а не для обучения крупных моделей, таких как DeepSeek-R1 [4].DeepSeek-R1 дистиллированные модели
Для дистиллированных версий DeepSeek-R1, которые являются более эффективными и требуют меньше VRAM, можно использовать различные экземпляры AWS:-DeepSeek-R1-Distill-Qwen-1.5b: эта модель может быть эффективно запускаться на одном экземпляре GPU. Экземпляр `ml.g5.xlarge` рекомендуется для размещения этой модели из -за ее показателей производительности [3].
-DeepSeek-R1-Distill-Qwen-7B и DeepSeek-R1-Distill-Llama-8b: эти модели хорошо работают в таких случаях, как `ml.g6e.xlarge`, который предлагает хороший баланс мощности и стоимости графического процессора. Экземпляры `ml.g5.2xlarge` и` ml.g5.xlarge` также являются жизнеспособными вариантами [3].
-DeepSeek-R1-Distill-Qwen-14b: для этой модели необходим экземпляр с более мощным графическим процессором. Экземпляр `g4dn.xlarge`, который имеет графические процессоры Nvidia T4, может быть недостаточно из -за его ограничений VRAM. Вместо этого рассмотрите возможность использования экземпляров с более мощными графическими процессорами, такими как в семействе `ml.g6` или выбрать пользовательскую настройку с более высокими графическими процессорами, если таковые имеются [1] [2].
-DeepSeek-R1-Distill-Qwen-32B и DeepSeek-R1-Distill-Llama-70b: эти более крупные модели требуют еще более мощных графических процессоров. Для оптимальной производительности рекомендуются экземпляры с высококачественными графическими процессорами, такими как Nvidia RTX 4090, хотя такие специфические графические процессоры не доступны напрямую в стандартных экземплярах AWS EC2. Тем не менее, вы можете использовать такие экземпляры, как `inf2.48xlarge` для задач вывода с высокой производительности [4] [6].
Развертывание на основе процессора
Для задач обработки партии, где задержка не является критическим фактором, экземпляры на основе AWS Graviton4 могут предложить экономически эффективное решение. Экземпляр `c8g.16xlarge` с высоким уровнем ядра и полосы пропускания памяти подходит для запуска моделей, таких как DeepSeek-R1-Distill-Llama-70b в среде только для процессора [6].полностью управляемые решения
Для пользователей, которые предпочитают не управлять инфраструктурой, DeepSeek-R1 также доступен в качестве полностью управляемой модели без сервера в Amazon Bedrock. Эта опция позволяет использовать возможности модели, не беспокоясь о основных сложностях инфраструктуры [9].Таким образом, выбор экземпляра AWS для эффективного запуска DeepSeek-R1 зависит от конкретного варианта модели, необходимого уровня производительности и необходимо ли ускорение графического процессора. Для большинства дистиллированных моделей рекомендуются экземпляры с мощными графическими процессорами, в то время как экземпляры на основе процессоров могут подходить для задач переработки партий.
Цитаты:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-
[3.]
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-leployment-setup-2e48
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-lama-70b-for-batch-onference-on-aws-graviton4?lang=en
[7] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-infere-container/
[8] https://www.reddit.com/r/localllm/comments/1i6j3ih/how_to_install_deepseek_what_models_and/
[9] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-ably-manged-serverless-model-in-amazon-bedrock/