O processo de implantação difere significativamente ao usar um balde S3 privado versus o hub de face abraçando, principalmente em termos de acessibilidade, segurança e latência do modelo.
implantação usando o hub de face Hugging
A implantação de modelos diretamente do hub de face Hugging envolve o acesso a modelos pela Internet. Aqui está como isso normalmente funciona:
1. Seleção do modelo: você seleciona o modelo desejado no hub de face Hugging, que hospeda uma ampla gama de modelos pré-treinados.
2. Configuração de implantação: você configura seu ambiente de implantação, como escolher o tipo de instância apropriado e configurar a infraestrutura necessária (por exemplo, Azure Machine Learning ou Amazon Sagemaker).
3. Download do modelo: Durante a implantação, o modelo é baixado do hub de face Hugging para o seu ambiente de implantação. Esta etapa pode introduzir latência e requer conectividade da Internet.
4. Considerações de segurança: Como os modelos são acessados pela Internet, pode haver preocupações de segurança relacionadas à privacidade e conformidade de dados.
implantação usando um balde S3 privado
A implantação de modelos de um balde S3 privado oferece segurança e controle aprimorados sobre o processo de implantação:
1. Preparação do modelo: você primeiro baixe os pesos do modelo do hub de face Hugging e o usa para o seu balde privado S3. Esta etapa permite verificações de vulnerabilidades e garante que o modelo seja armazenado com segurança na sua conta da AWS.
2. Configuração de implantação: você configura seu ambiente de implantação semelhante ao uso do hub de face Hugging, mas especifica o caminho do balde S3 como a fonte do modelo.
3. Recuperação do modelo: Durante a implantação, o modelo é recuperado do seu balde S3, reduzindo a latência, pois o modelo é armazenado mais próximo do seu ambiente de implantação (por exemplo, Amazon Sagemaker).
4. Segurança e conformidade: essa abordagem aumenta a segurança, mantendo os pesos do modelo na sua conta da AWS, permitindo um melhor controle sobre o acesso e a conformidade com as políticas organizacionais.
Em resumo, o uso de um balde S3 privado fornece mais controle sobre o armazenamento e implantação de modelos, aprimora a segurança e reduz a latência em comparação com a implantação diretamente do hub de face Hugging. No entanto, requer etapas adicionais para fazer upload de modelos no balde S3 antes da implantação [3].
Citações:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-telapplo
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-huggging-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how--deploy-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deployinging-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker