Автоматичне масштабування за допомогою DeepSeek-R1 можна налаштувати для обробки різних типів запитів або сценаріїв, особливо при розгортанні на платформах, таких як Amazon Sagemaker. Кінцеві точки Sagemaker підтримують автоматичне масштабування, що дозволяє DeepSeek-R1 масштабувати горизонтально на основі обсягу вхідного запиту. Це означає, що модель може динамічно регулювати свої ресурси для управління різними навантаженнями, забезпечуючи ефективну продуктивність за різних умов.
Налаштування автоматичного масштабу
1. Обсяг запиту: Автоматичне масштабування може бути спрацьоване на основі обсягу вхідних запитів. Наприклад, якщо модель одночасно обробляє велику кількість запитів, вона може автоматично збільшити масштаб, щоб переконатися, що всі запити швидко обробляються без порушення продуктивності.
2. Тип запиту: Хоча конкретна налаштування автоматичного масштабування на основі типу запиту (наприклад, складні завдання міркувань порівняно з простими запитами) можуть не підтримуватися безпосередньо поза межами, ви можете реалізувати власну логіку для розмежування типів запитів. Це може включати налаштування окремих кінцевих точок або черг для різних типів запитів, кожен з яких має власні правила масштабування.
3. Масштабування на основі сценаріїв: Для різних сценаріїв, таких як пікові години або конкретні події, ви можете попередньо налаштувати правила масштабування, щоб передбачити підвищений попит. Цей проактивний підхід гарантує, що модель належним чином є ресурсом для обробки очікуваних шипів у трафіку.
Реалізація на платформах
-Amazon Sagemaker: пропонує заздалегідь побудовані робочі процеси та підтримує автоматичне масштабування для дистильованих моделей DeepSeek-R1. Ви можете використовувати рецепти гіперподів Sagemaker для спрощення процесів налаштування та масштабування моделі [5] [7].
- Разом AI: надає без сервера опцію розгортання для DeepSeek-R1, який по суті підтримує динамічне масштабування на основі обсягу запиту. Однак конкретна налаштування для різних типів запитів може вимагати додаткової установки або інтеграції з користувальницькою логікою [2].
Висновок
Хоча можливості автоматичного масштабування DeepSeek-R1 є надійними, особливо на платформах, таких як SageMaker, налаштування цих можливостей для різних типів запитів або сценаріїв може вимагати додаткової установки або інтеграції з користувальницькою логікою. Це передбачає використання функцій платформи для розмежування типів запитів або сценаріїв та відповідно налаштування правил масштабування.
Цитати:
[1] https://www.datacamp.com/tutorial/fine-tuning-deepseek-r1-rasoning-model
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.pixelstech.net/article/1739167426-deploying-deepseek-r1-locally-a-a-custom-rag-knowledge-data-base-base
[4] https://www.kdnuggets.com/how-to-fine-tune-deepseek-r1-custom-dataset
[5] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distill-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[6] https://www.endorlabs.com/learn/deepseek-r1-what-security-teams-need-to-know?42a57130_page=2
[7] https://aws.amazon.com/blogs/machine-learning/customize-deepseek-r1-distill-models-using-amazon-sagemaker-hyperpod-recipes-part-1/
[8] https://campustechnology.com/articles/2025/03/14/aws-ffers-deepseek-r1-as-sly-managed-serverless-model-recommends-guardrails.aspx