Le processus de déploiement diffère considérablement lors de l'utilisation d'un seau S3 privé par rapport au Hub Face Hub, principalement en termes d'accessibilité, de sécurité et de latence du modèle.
Déploiement à l'aide du hub étreint
Le déploiement de modèles directement à partir du HUBGING FACE HUB implique d'accès aux modèles sur Internet. Voici comment cela fonctionne généralement:
1. Sélection du modèle: vous sélectionnez le modèle souhaité dans le Hub Face Hub, qui héberge une large gamme de modèles pré-formés.
2.
3. Téléchargement du modèle: Pendant le déploiement, le modèle est téléchargé à partir du HUBGING FACE HUB à votre environnement de déploiement. Cette étape peut introduire la latence et nécessiter une connectivité Internet.
4. Considérations de sécurité: Étant donné que les modèles sont accessibles sur Internet, il peut y avoir des problèmes de sécurité liés à la confidentialité et à la conformité des données.
Déploiement à l'aide d'un seau S3 privé
Le déploiement de modèles à partir d'un seau S3 privé offre une sécurité et un contrôle améliorés sur le processus de déploiement:
1. Préparation du modèle: vous téléchargez d'abord les poids du modèle à partir du centre de visage étreint et les téléchargez-les sur votre seau S3 privé. Cette étape permet des analyses de vulnérabilité et garantit que le modèle est stocké en toute sécurité dans votre compte AWS.
2.
3. Retrievale du modèle: Pendant le déploiement, le modèle est récupéré de votre seau S3, réduisant la latence puisque le modèle est stocké plus près de votre environnement de déploiement (par exemple, Amazon SageMaker).
4. Sécurité et conformité: Cette approche améliore la sécurité en gardant les poids des modèles dans votre compte AWS, permettant un meilleur contrôle sur l'accès et la conformité aux politiques organisationnelles.
En résumé, l'utilisation d'un compartiment S3 privé fournit plus de contrôle sur le stockage et le déploiement du modèle, améliore la sécurité et réduit la latence par rapport au déploiement directement à partir du centre de face étreint. Cependant, il nécessite des étapes supplémentaires pour télécharger des modèles sur le seau S3 avant le déploiement [3].
Citations:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilla-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introduging-private-hub
[7] https://www.edstem.com/blog/deploying-rinning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker