Процес розгортання суттєво відрізняється при використанні приватного відра S3 порівняно з хабами, що обіймає обличчя, насамперед з точки зору доступності моделі, безпеки та затримки.
Розгортання за допомогою Hub Hug Face
Розгортання моделей безпосередньо з Hunging Face Hub передбачає доступ до моделей через Інтернет. Ось як це зазвичай працює:
1. Вибір моделі: Ви вибираєте потрібну модель із Hunging Face Matter, де розміщується широкий спектр попередньо підготовлених моделей.
2. Конфігурація розгортання: Ви налаштовуєте своє середовище розгортання, наприклад, вибір відповідного типу екземпляра та налаштування необхідної інфраструктури (наприклад, машинне навчання Azure або Amazon Sagemaker).
3. Завантажити модель: Під час розгортання модель завантажується з Хаба Hunging Face до вашого середовища розгортання. Цей крок може запровадити затримку і вимагає підключення до Інтернету.
4. Міркування безпеки: Оскільки моделі отримують доступ через Інтернет, можуть виникати проблеми безпеки, пов'язані з конфіденційністю та дотриманням даних.
розгортання за допомогою приватного відра S3
Розгортання моделей з приватного відра S3 пропонує підвищену безпеку та контроль над процесом розгортання:
1. Підготовка моделі: Спочатку ви завантажуєте ваги моделі з обнятого концентратора обличчя та завантажуєте їх у приватне відро S3. Цей крок дозволяє сканувати вразливість і гарантує, що модель надійно зберігається у вашому обліковому записі AWS.
2. Конфігурація розгортання: Ви налаштовуєте своє середовище розгортання, подібне до використання маточини Hunging Face, але ви вказуєте шлях відра S3 як джерело моделі.
3. Пошук моделі: Під час розгортання модель отримується з вашого відра S3, зменшуючи затримку, оскільки модель зберігається ближче до вашого середовища розгортання (наприклад, Amazon Sagemaker).
4. Безпека та дотримання: Цей підхід підвищує безпеку, зберігаючи модельні ваги у вашому обліковому записі AWS, що дозволяє краще контролювати доступ та відповідність організаційній політиці.
Підводячи підсумок, використання приватного відра S3 забезпечує більший контроль над зберіганням та розгортанням моделі, підвищує безпеку та зменшує затримку порівняно з розгортанням безпосередньо з обнятого центру обличчя. Однак для завантаження моделі до відра S3 потрібно додаткові кроки перед розгортанням [3].
Цитати:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deployto-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-devell-models-from-huggingface?view=azureml-api-2
.
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker