Процесс развертывания значительно отличается при использовании частного ведра S3 по сравнению с концентратором обнимающего лица, в первую очередь с точки зрения доступности модели, безопасности и задержки.
Развертывание с использованием центра объятия лиц
Развертывание моделей непосредственно из центра объятия лиц включает доступ к моделям через Интернет. Вот как это обычно работает:
1. Выбор модели: вы выбираете желаемую модель из Hub-Hub, в котором находится широкий спектр предварительно обученных моделей.
2. Конфигурация развертывания: вы настраиваете среду развертывания, такую как выбор соответствующего типа экземпляра и настройка необходимой инфраструктуры (например, Azure Machine Learning или Amazon SageMaker).
3. Скачать модель: во время развертывания модель загружается из центра объятия в вашу среду развертывания. Этот шаг может ввести задержку и требует подключения к Интернету.
4. Соображения безопасности: Поскольку модели доступны через Интернет, могут быть проблемы безопасности, связанные с конфиденциальностью и соблюдением данных.
Развертывание с использованием частного ведра S3
Развертывание моделей из частного ведра S3 предлагает повышенную безопасность и контроль над процессом развертывания:
1. Подготовка модели: вы сначала загружаете веса модели из узла обнимающего лица и загружаете их в свое личное ведро S3. Этот шаг обеспечивает сканирование уязвимости и гарантирует, что модель надежно хранится в вашей учетной записи AWS.
2. Конфигурация развертывания: вы настраиваете среду развертывания, аналогичную использованию концентратора обнимающего лица, но вы указываете путь ковша S3 в качестве источника модели.
3. Извлечение модели: во время развертывания модель извлекается из вашего ведра S3, уменьшая задержку, поскольку модель хранится ближе к вашей среде развертывания (например, Amazon Sagemaker).
4. Безопасность и соответствие: этот подход повышает безопасность, сохраняя веса модели в вашей учетной записи AWS, что позволяет лучше контролировать доступ и соблюдение организационных политик.
Таким образом, использование частного ведра S3 обеспечивает больший контроль над хранением и развертыванием модели, повышает безопасность и снижает задержку по сравнению с развертыванием непосредственно из концентратора объятия. Тем не менее, это требуют дополнительных шагов для загрузки моделей в ведро S3 до развертывания [3].
Цитаты:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureMl-API-2
[3.]
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-gaging-face-dels-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker