Implementeringsprocessen adskiller sig markant, når man bruger en privat S3 -spand kontra det knusende ansigtsnav, primært med hensyn til modeltilgængelighed, sikkerhed og latenstid.
Implementering ved hjælp af Hugging Face Hub
Implementering af modeller direkte fra Hugging Face Hub involverer adgang til modeller over internettet. Sådan fungerer det typisk:
1. Modeludvælgelse: Du vælger den ønskede model fra Hugging Face Hub, der er vært for en lang række foruddannede modeller.
2. Implementeringskonfiguration: Du konfigurerer dit implementeringsmiljø, såsom at vælge den relevante forekomsttype og indstille den nødvendige infrastruktur (f.eks. Azure Machine Learning eller Amazon Sagemaker).
3. Model Download: Under implementering downloades modellen fra Hugging Face Hub til dit implementeringsmiljø. Dette trin kan indføre latenstid og kræver internetforbindelse.
4. Sikkerhedsovervejelser: Da der er adgang til modeller over internettet, kan der være sikkerhedsmæssige bekymringer relateret til databeskyttelse og overholdelse.
Implementering ved hjælp af en privat S3 -spand
Implementering af modeller fra en privat S3 -spand tilbyder forbedret sikkerhed og kontrol over implementeringsprocessen:
1. Modelforberedelse: Du downloader først modelvægtene fra Hugging Face Hub og uploader dem til din private S3 -spand. Dette trin giver mulighed for sårbarhedsscanninger og sikrer, at modellen gemmes sikkert på din AWS -konto.
2. Implementeringskonfiguration: Du konfigurerer dit implementeringsmiljø svarende til at bruge Hugging Face Hub, men du specificerer S3 Bucket Path som modelkilden.
3. Modelindhentning: Under implementering hentes modellen fra din S3 -spand, hvilket reducerer latenstid, da modellen er gemt tættere på dit implementeringsmiljø (f.eks. Amazon Sagemaker).
4. Sikkerhed og overholdelse: Denne tilgang forbedrer sikkerheden ved at holde modelvægte inden for din AWS -konto, hvilket giver mulighed for bedre kontrol over adgang og overholdelse af organisatoriske politikker.
Sammenfattende giver brug af en privat S3 -spand mere kontrol over modelopbevaring og -distribution, forbedrer sikkerheden og reducerer latenstid sammenlignet med at implementere direkte fra Huging Face Hub. Det kræver dog yderligere trin for at uploade modeller til S3 -spanden før implementering [3].
Citater:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-with-with-s3/
)
)
[4] https://docs.travis-ci.com/user/deployment/s3/
)
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deployering-drunning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-i
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-cagemaker