Postopek uvajanja se znatno razlikuje pri uporabi zasebnega vedra S3 v primerjavi s središčem za objem obraza, predvsem glede na dostopnost modela, varnost in zamude.
Umestitev z uporabo Huba za objem
Namestitev modelov neposredno iz objemnega vozlišča obraza vključuje dostop do modelov po internetu. Tukaj običajno deluje:
1. Izbira modela: Izberete želeni model iz Hugging Face Hub, ki gosti široko paleto predhodno usposobljenih modelov.
2. Konfiguracija uvajanja: Konfigurirate svoje okolje za uvajanje, na primer izbiro ustrezne vrste primerka in nastavitev potrebne infrastrukture (npr. Azure strojno učenje ali Amazon SageMaker).
3. Prenos modela: Med uvajanjem se model prenese iz Hugging Face Hub v vaše okolje za uvajanje. Ta korak lahko uvede zamude in zahteva internetno povezljivost.
4. Varnostni premisleki: Ker modeli dostopajo prek interneta, lahko obstajajo varnostni pomisleki, povezani z zasebnostjo in skladnostjo podatkov.
Uvajanje z zasebnim vedrom S3
Uvajanje modelov iz zasebnega vedra S3 ponuja večjo varnost in nadzor nad postopkom uvajanja:
1. Priprava modela: Najprej prenesete uteži modela iz objemnega vozlišča in jih naložite na zasebno vedro S3. Ta korak omogoča preglede ranljivosti in zagotavlja, da je model varno shranjen v vašem računu AWS.
2. Konfiguracija uvajanja: konfigurirate svoje okolje za uvajanje, podobno kot uporaba središče za objem, vendar določite pot vedra S3 kot vir modela.
3. Pridobivanje modela: Med uvajanjem se model pridobi iz vašega vedra S3, kar zmanjša zamudo, saj je model shranjen bližje vašemu okolju uvajanja (npr. Amazon SageMaker).
4. Varnost in skladnost: Ta pristop izboljšuje varnost z ohranjanjem modelnih uteži na vašem računu AWS, kar omogoča boljši nadzor nad dostopom in skladnostjo z organizacijsko politiko.
Če povzamemo, uporaba zasebnega vedra S3 zagotavlja večji nadzor nad shranjevanjem in uvajanjem modela, poveča varnost in zmanjša zamude v primerjavi z uvajanjem neposredno iz objemnega vozlišča. Vendar pa potrebujejo dodatne korake za nalaganje modelov v vedro S3 pred uvajanjem [3].
Navedbe:
[1] https://support.atlassian.com/bitbucket-coloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-haggingFace?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hagging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/Deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/Deploying-llm-from-s3-on-amazon-sagemaker