Diegimo procesas labai skiriasi, kai naudojamas privatus S3 kibiras, palyginti su apkabinančiu veido stebule, visų pirma atsižvelgiant į modelio prieinamumą, saugumą ir latenciją.
diegimas naudojant apkabinimo veido centrą
Modelių diegimas tiesiogiai iš apkabinančio veido centro apima prieigą prie modelių internete. Čia paprastai veikia:
1.
2. Diegimo konfigūracija: sukonfigūruojate savo diegimo aplinką, pavyzdžiui, pasirinkti tinkamą egzemplioriaus tipą ir nustatyti reikiamą infrastruktūrą (pvz., „Azure Machine Learning“ arba „Amazon Sagemaker“).
3. Modelio atsisiuntimas: Diegimo metu modelis atsisiunčiamas iš apkabinančio veido stebulės į jūsų diegimo aplinką. Šis žingsnis gali sukelti latenciją ir reikalauti interneto ryšio.
4. Saugumo sumetimai: Kadangi modeliai pasiekiami internete, gali kilti saugumo problemų, susijusių su duomenų privatumu ir atitikimu.
diegimas naudojant privatų S3 kibirą
Modelių diegimas iš privataus S3 kibiro siūlo patobulintą saugumo ir valdymo diegimo procesą:
1. Šis žingsnis leidžia nuskaityti pažeidžiamumą ir užtikrina, kad modelis būtų saugiai saugomas jūsų AWS paskyroje.
2. Diegimo konfigūracija: jūs sukonfigūruojate savo diegimo aplinką, panašią į naudojimą apsikabinančiame veido stebulėje, tačiau jūs nurodote S3 kibiro kelią kaip modelio šaltinį.
3.
4. Saugumas ir atitiktis: Šis požiūris pagerina saugumą, išlaikant modelio svorius jūsų AWS sąskaitoje, leisdamas geriau kontroliuoti prieigą ir laikytis organizacijos politikos.
Apibendrinant galima pasakyti, kad naudojant privatų S3 kibirą, galima labiau valdyti modelio saugyklą ir diegimą, padidina saugumą ir sumažina delsą, palyginti su diegimu tiesiogiai iš apkabinančio veido centro. Tačiau prieš diegimą reikia papildomų veiksmų, norint įkelti modelius į S3 kibirą [3].
Citatos:
]
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-on-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/depalling-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/depall-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/depalling-llm-from-on-on-amazon-sagemaker