Distribusjonsprosessen skiller seg betydelig ut når man bruker en privat S3 -bøtte kontra det klemte ansiktsnavet, først og fremst med tanke på modelltilgjengelighet, sikkerhet og latens.
distribusjon ved hjelp av Hugging Face Hub
Å distribuere modeller direkte fra det klemte ansiktsnavet innebærer tilgang til modeller over Internett. Her er hvordan det vanligvis fungerer:
1. Modellvalg: Du velger ønsket modell fra Hugging Face Hub, som er vert for et bredt spekter av forhåndsutdannede modeller.
2. Distribusjonskonfigurasjon: Du konfigurerer distribusjonsmiljøet, for eksempel å velge riktig forekomsttype og sette opp den nødvendige infrastrukturen (f.eks. Azure Machine Learning eller Amazon Sagemaker).
3. Modell nedlasting: Under distribusjon lastes ned modellen fra Hugging Face Hub til distribusjonsmiljøet ditt. Dette trinnet kan innføre latens og krever internettforbindelse.
4. Sikkerhetshensyn: Siden modeller er tilgjengelig over Internett, kan det være sikkerhetsproblemer relatert til personvern og etterlevelse.
distribusjon ved hjelp av en privat S3 -bøtte
Distribusjon av modeller fra en privat S3 -bøtte tilbyr forbedret sikkerhet og kontroll over distribusjonsprosessen:
1. Modellforberedelse: Du laster først ned modellvektene fra Hugging Face Hub og laster dem opp til din private S3 -bøtte. Dette trinnet gir mulighet for sårbarhetsskanninger og sikrer at modellen lagres sikkert på AWS -kontoen din.
2. Distribusjonskonfigurasjon: Du konfigurerer distribusjonsmiljøet som ligner på Hugging Face Hub, men du spesifiserer S3 -bøttebanen som modellkilden.
3. Modellinnhenting: Under utplassering hentes modellen fra S3 -bøtta, noe som reduserer latensen siden modellen er lagret nærmere distribusjonsmiljøet ditt (f.eks. Amazon Sagemaker).
4. Sikkerhet og etterlevelse: Denne tilnærmingen forbedrer sikkerheten ved å holde modellvekter på AWS -kontoen din, noe som gir bedre kontroll over tilgang og overholdelse av organisasjonspolitikk.
Oppsummert gir bruk av en privat S3 -bøtte mer kontroll over modelllagring og distribusjon, forbedrer sikkerheten og reduserer latens sammenlignet med distribusjon direkte fra det klemte ansiktsnavet. Imidlertid krever det flere trinn for å laste opp modeller til S3 -bøtta før distribusjon [3].
Sitasjoner:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-levning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-slosting-depseek-r1-distilled-models-with-hugging- face-tgi-on-azon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-lm-from-s3-on-azon-sagemaker