Der Bereitstellungsprozess unterscheidet sich erheblich, wenn ein privater S3 -Bucket im Vergleich zu dem umarmenden Gesichtszentrum verwendet wird, hauptsächlich in Bezug auf die Zugänglichkeit, Sicherheit und Latenzmodell.
Bereitstellung mit dem Umarmungs -Face -Hub
Das Bereitstellen von Modellen direkt aus dem Umarmungs -Face -Hub umfasst den Zugriff auf Modelle über das Internet. So funktioniert es normalerweise:
1. Modellauswahl: Sie wählen das gewünschte Modell aus der Hub-Face-Hub aus, in der eine breite Palette von vorgebliebenen Modellen stattfindet.
2. Konfiguration der Bereitstellung: Sie konfigurieren Ihre Bereitstellungsumgebung, z.
3. Modell Download: Während der Bereitstellung wird das Modell vom Umarmungs -Face -Hub in Ihre Bereitstellungsumgebung heruntergeladen. Dieser Schritt kann eine Latenz einführen und die Internetkonnektivität erfordert.
4. Sicherheitsüberlegungen: Da Modelle über das Internet zugegriffen werden, gibt es möglicherweise Sicherheitsbedenken in Bezug auf Datenschutz und Einhaltung.
Bereitstellung mit einem privaten S3 -Eimer
Das Bereitstellen von Modellen aus einem privaten S3 -Bucket bietet eine verbesserte Sicherheit und Kontrolle über den Bereitstellungsprozess:
1. Modellvorbereitung: Sie laden zuerst die Modellgewichte von der umarmenden Gesichtsknotenpunkte herunter und laden sie in Ihren privaten S3 -Eimer hoch. Dieser Schritt ermöglicht Sicherheits -Scans und stellt sicher, dass das Modell in Ihrem AWS -Konto sicher gespeichert ist.
2. Bereitstellungskonfiguration: Sie konfigurieren Ihre Bereitstellungsumgebung ähnlich wie die Verwendung des Hub -Face -Hubs, geben jedoch den S3 -Bucket -Pfad als Modellquelle an.
3. Modellabruf: Während der Bereitstellung wird das Modell aus Ihrem S3 -Eimer abgerufen, wodurch die Latenz reduziert wird, da das Modell näher an Ihre Bereitstellungsumgebung gespeichert ist (z. B. Amazon Sagemaker).
4. Sicherheit und Einhaltung: Dieser Ansatz verbessert die Sicherheit, indem Modellgewichte in Ihrem AWS -Konto geführt werden und eine bessere Kontrolle über den Zugriff und die Einhaltung der Organisationspolitik ermöglichen.
Zusammenfassend bietet die Verwendung eines privaten S3 -Buckets mehr Kontrolle über den Modellspeicher und die Bereitstellung, verbessert die Sicherheit und verringert die Latenz im Vergleich zum Einsatz direkt aus dem Umarmungs -Face -Hub. Es sind jedoch zusätzliche Schritte erforderlich, um Modelle vor der Bereitstellung in den S3 -Eimer hochzuladen [3].
Zitate:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-tows-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-todedeploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-teek-r1-distillieren-models-with-hugging-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-todedeploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/Introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-lm-from-s3-on-amazon-sagemaker
