Proces wdrażania różni się znacznie przy użyciu prywatnego wiadra S3 w porównaniu z koncentratorem twarzy przytulania, przede wszystkim pod względem dostępności modelu, bezpieczeństwa i opóźnień.
Wdrożenie za pomocą Hugging Face Hub
Wdrażanie modeli bezpośrednio z Hugging Face Hub obejmuje dostęp do modeli przez Internet. Oto jak to zwykle działa:
1. Wybór modelu: Wybierasz żądany model z Hugging Face Hub, który jest gospodarzem szerokiej gamy wstępnie wyszkolonych modeli.
2. Konfiguracja wdrażania: Konfigurujesz środowisko wdrażania, takie jak wybór odpowiedniego rodzaju instancji i konfigurowanie niezbędnej infrastruktury (np. Azure Machine Learning lub Amazon Sagemaker).
3. Pobieranie modelu: Podczas wdrażania model jest pobierany z Hugging Face Hub do twojego środowiska wdrażania. Ten krok może wprowadzić opóźnienie i wymaga łączności internetowej.
4. Rozważania dotyczące bezpieczeństwa: Ponieważ modele są dostępne przez Internet, mogą istnieć obawy dotyczące bezpieczeństwa związane z prywatnością i zgodnością z danymi.
Wdrożenie za pomocą prywatnego wiadra S3
Wdrażanie modeli z prywatnego wiadra S3 oferuje lepsze bezpieczeństwo i kontrolę nad procesem wdrażania:
1. Przygotowanie modelu: Najpierw pobierasz wagi modelu z Hugging Face Hub i przesyłaj je do prywatnego wiadra S3. Ten krok pozwala na skanowanie podatności na podatność i zapewnia bezpieczne przechowywanie modelu na koncie AWS.
2. Konfiguracja wdrażania: Konfigurujesz środowisko wdrażania podobne do korzystania z Hugging Face Hub, ale określasz ścieżkę S3 Bucket jako źródło modelu.
3. Odzyskiwanie modelu: Podczas wdrażania model jest pobierany z twojego wiadra S3, zmniejszając opóźnienie, ponieważ model jest przechowywany bliżej środowiska wdrażania (np. Amazon Sagemaker).
4. Bezpieczeństwo i zgodność: takie podejście zwiększa bezpieczeństwo, utrzymując wagę modelową na koncie AWS, umożliwiając lepszą kontrolę nad dostępem i przestrzeganiem zasad organizacyjnych.
Podsumowując, korzystanie z prywatnego wiadra S3 zapewnia większą kontrolę nad przechowywaniem i wdrażaniem modeli, zwiększa bezpieczeństwo i zmniejsza opóźnienie w porównaniu do wdrażania bezpośrednio z Hugging Face Hub. Wymaga to jednak dodatkowych kroków, aby przesłać modele do wiadra S3 przed wdrożeniem [3].
Cytaty:
[1] https://support.atlassian.com/bitbucket-floud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-loarning/how-to-deloy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-loarning/optimize-hosting-deepseek-r1-distilled-simodels-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-vrivate-hub
[7] https://www.edstem.com/blog/deploying-nunning-app-s3-floudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker