Оптимізація затримки та пропускної здатності моделей DeepSeek-R1 на екземплярах GPU AWS передбачає декілька стратегій, які використовують послуги AWS, конфігурації обладнання та оптимізацію моделі. Ось детальний посібник для підвищення продуктивності:
1. Виберіть правильне обладнання **
- Вибір екземпляра: AWS пропонує різні екземпляри GPU, такі як `ml.g5`,` ml.g6`, і `ml.p4d`, кожен з різними типами GPU (наприклад, Nvidia A10G, L4, L40s та A100). Для моделей DeepSeek-R1 такі екземпляри, як `ml.g6e.xlarge` та` ml.p4d.24xlarge`, показали високу продуктивність завдяки їх потужному графічному процесору та ємності пам'яті [1] [4].- Кількість GPU: Збільшення кількості графічних процесорів за примірник може значно покращити пропускну здатність, дозволяючи модель, що перекидається на кілька графічних процесорів. Для великих моделей, таких як DeepSeek-R1-Distill-Llama-70B, використовуючи екземпляри з 8 GPU (наприклад, `ml.g6e.48xlarge`) [4].
2. Методи оптимізації моделі **
-Модельна дистиляція: Використання дистильованих версій DeepSeek-R1, таких як DeepSeek-R1-Distill-Qwen та Llama Variants, може зменшити обчислювальні вимоги, зберігаючи при цьому прийнятні показники. Ці моделі менші та ефективніші, що робить їх придатними для графічних процесорів нижчого класу [1] [3].- Квантування та змішана точність: такі методи, як квантування та змішана точність (наприклад, використання BFLOAT16), можуть зменшити використання пам’яті та покращити швидкість висновку без значної втрати точності [1].
3. AWS -сервіси та інструменти **
- Amazon Sagemaker: Використовуйте процес спрощеного розгортання SageMaker для моделей DeepSeek-R1. Він підтримує обняття висновку генерації тексту обличчя (TGI), що спрощує модель хостингу та оптимізацію [1].- DeepSpeed: Важіть технологію DeepSpeed для оптимізації використання ресурсів на екземплярах EC2. Це може призвести до кращої продуктивності з меншою кількістю ресурсів, зменшення витрат [2].
4. Масштабованість та одночасність **
- Налаштування паралельності: відрегулюйте рівні одночасності на основі потреб вашої програми. Більш висока одночасність може збільшити пропускну здатність, але також може збільшити затримку, якщо не керуватися належним чином [4].-Автоматичне масштабування: впровадити автоматичне масштабування за допомогою послуг AWS, таких як автоматичне масштабування EC2 або вбудовані функції масштабування Sagemaker для динамічного регулювання підрахунків екземплярів на основі потреб у робочому навантаженні [6].
5. Оптимізуйте операції введення/виводу **
- Довжина введення маркера: Оцініть продуктивність ваших моделей з різною довжиною введення маркерів. Коротші входи, як правило, призводять до більш швидких часів висновку, тоді як більш тривалі входи можуть вимагати більш потужних екземплярів [1] [4].- Довжина виводу маркера: Аналогічно, коригування вихідних маркерів може вплинути на продуктивність. Оптимізуйте ці параметри на основі конкретного випадку використання.
6. Оптимізація витрат **
- Типи екземплярів: Баланс продуктивності та вартість шляхом вибору типів екземплярів, які пропонують найкращі співвідношення ціни. Наприклад, екземпляри G4 відзначаються своєю економічною ефективністю в робочих навантаженнях AI [2].- Зарезервовані екземпляри та плямисті екземпляри: Використовуйте зарезервовані екземпляри для передбачуваних навантажень та точкових екземплярів для пакетних завдань або завдань, де перебої терпимо, щоб зменшити витрати [3].
Реалізуючи ці стратегії, ви можете значно оптимізувати затримку та пропускну здатність моделей DeepSeek-R1 на екземплярах GPU AWS.
Цитати:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distill-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[2] https://community.aws/content/2shgs4eqeekz32oozn7am5lngex/benefits-of-installing-deepseek-on-an-aws-ec2-instance?lang=en
.
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distill-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.reddit.com/r/selfhosted/comments/1ibl5wr/how_much_money_would_i_need_to_run_r1_deepseek/
.
[7] https://huggingface.co/blog/deepseek-r1-aws
[8] https://aws.amazon.com/blogs/machine-learning/deepseek-r1-model-now-available-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/
[9] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-on-on-vagon-cloud-desktops