Il processo di distribuzione differisce in modo significativo quando si utilizza un secchio S3 privato rispetto all'hub di abbracci, principalmente in termini di accessibilità, sicurezza e latenza del modello.
Distribuzione
utilizzando il hub di abbracci
La distribuzione di modelli direttamente dall'hub di faccia in abbracci comporta l'accesso ai modelli su Internet. Ecco come funziona in genere:
1. Selezione del modello: si seleziona il modello desiderato dall'hub di faccia in abbracci, che ospita una vasta gamma di modelli pre-addestrati.
2. Configurazione di distribuzione: si configura l'ambiente di distribuzione, come la scelta del tipo di istanza appropriato e l'impostazione dell'infrastruttura necessaria (ad es. Azure Machine Learning o Amazon Sagemaker).
3. Download del modello: durante la distribuzione, il modello viene scaricato dall'hub di abbracci per l'ambiente di distribuzione. Questo passaggio può introdurre latenza e richiede connettività Internet.
4. Considerazioni sulla sicurezza: poiché si accede ai modelli su Internet, potrebbero esserci problemi di sicurezza relativi alla privacy e alla conformità dei dati.
utilizzando un secchio S3 privato
La distribuzione di modelli da un bucket S3 privato offre una maggiore sicurezza e controllo sul processo di distribuzione:
1. Preparazione del modello: scarichi per la prima volta i pesi del modello dall'hub di abbracci e lo carichi sul secchio S3 privato. Questo passaggio consente scansioni di vulnerabilità e garantisce che il modello sia memorizzato in modo sicuro all'interno del tuo account AWS.
2. Configurazione di distribuzione: configurare l'ambiente di distribuzione in modo simile all'utilizzo dell'hub di faccia in abbracci, ma si specifica il percorso del bucket S3 come sorgente del modello.
3. Recupero del modello: durante la distribuzione, il modello viene recuperato dal secchio S3, riducendo la latenza poiché il modello viene archiviato più vicino al tuo ambiente di distribuzione (ad esempio, Amazon Sagemaker).
4. Sicurezza e conformità: questo approccio migliora la sicurezza mantenendo i pesi del modello all'interno del tuo account AWS, consentendo un migliore controllo rispetto all'accesso e alla conformità alle politiche organizzative.
In sintesi, l'utilizzo di un bucket S3 privato fornisce un maggiore controllo sull'archiviazione e sulla distribuzione del modello, migliora la sicurezza e riduce la latenza rispetto alla distribuzione direttamente dall'hub di abbracci. Tuttavia, richiede ulteriori passaggi per caricare modelli nel bucket S3 prima della distribuzione [3].
Citazioni:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-Api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy- hugging--models-with-run -ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker