El proceso de despliegue difiere significativamente cuando se usa un cubo S3 privado versus el Hub de la cara abrazada, principalmente en términos de accesibilidad, seguridad y latencia del modelo.
Despliegue utilizando el centro de abrazadera de abrazos
La implementación de modelos directamente desde el centro de abrazos de abrazos implica acceder a modelos a través de Internet. Así es como funciona típicamente:
1. Selección del modelo: selecciona el modelo deseado del centro de abrazo de abrazos, que alberga una amplia gama de modelos previamente capacitados.
2. Configuración de implementación: Configura su entorno de implementación, como elegir el tipo de instancia apropiado y configurar la infraestructura necesaria (por ejemplo, Azure Machine Learning o Amazon SageMaker).
3. Descarga del modelo: durante la implementación, el modelo se descarga desde el Hub Face de abrazo a su entorno de implementación. Este paso puede introducir latencia y requiere conectividad a Internet.
4. Consideraciones de seguridad: dado que se accede a los modelos a través de Internet, puede haber preocupaciones de seguridad relacionadas con la privacidad y el cumplimiento de los datos.
Despliegue utilizando un cubo S3 privado
La implementación de modelos de un cubo S3 privado ofrece una mayor seguridad y control sobre el proceso de implementación:
1. Preparación del modelo: primero descarga los pesos del modelo del centro de la cara abrazada y los sube a su cubo S3 privado. Este paso permite escaneos de vulnerabilidad y garantiza que el modelo se almacene de forma segura dentro de su cuenta de AWS.
2. Configuración de implementación: Configura su entorno de implementación de manera similar al uso del Hub Face, pero especifica la ruta del cubo S3 como fuente del modelo.
3. Recuperación del modelo: durante el despliegue, el modelo se recupera de su cubo S3, reduciendo la latencia ya que el modelo se almacena más cerca de su entorno de implementación (por ejemplo, Amazon Sagemaker).
4. Seguridad y cumplimiento: este enfoque mejora la seguridad al mantener los pesos del modelo dentro de su cuenta de AWS, lo que permite un mejor control sobre el acceso y el cumplimiento de las políticas organizacionales.
En resumen, el uso de un cubo S3 privado proporciona más control sobre el almacenamiento y la implementación del modelo, mejora la seguridad y reduce la latencia en comparación con el despliegue directamente desde el abrazo de la cara. Sin embargo, requiere pasos adicionales para cargar modelos en el cubo S3 antes de la implementación [3].
Citas:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-letarning/how-to-dede-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-s3-on-amazon-sagemaker