Proces nasadenia sa výrazne líši pri používaní súkromného vedra S3 v porovnaní s objatím, predovšetkým z hľadiska prístupnosti, bezpečnosti a latencie modelu.
nasadenie pomocou Hub Guging Face Hub
Nasadenie modelov priamo z objatia Face Hub zahŕňa prístup k modelom cez internet. Takto to zvyčajne funguje:
1. Výber modelu: Vyberáte požadovaný model z náboja objatia Face, ktorý je hostiteľom širokej škály vopred trénovaných modelov.
2. Konfigurácia nasadenia: Konfigurujete svoje prostredie nasadenia, ako napríklad výber príslušného typu inštancie a nastavenie potrebnej infraštruktúry (napr. Azure strojové učenie alebo Amazon Sagemaker).
3. Stiahnutie modelu: Počas nasadenia sa model sťahuje z rozbočovača Hugging Face do vášho prostredia nasadenia. Tento krok môže zaviesť latenciu a vyžaduje pripojenie na internet.
4. Bezpečnostné úvahy: Keďže sú prístupné modely cez internet, môžu existovať bezpečnostné obavy týkajúce sa ochrany osobných údajov a dodržiavania predpisov.
nasadenie pomocou súkromného vedra S3
Nasadenie modelov zo súkromného vedra S3 ponúka vylepšenú bezpečnosť a kontrolu nad procesom nasadenia:
1. Príprava modelu: Najprv si stiahnete závažia modelu z náboja objímajúceho tváre a odovzdáte ich do svojho súkromného vedra S3. Tento krok umožňuje skenovanie zraniteľnosti a zaisťuje, že model je bezpečne uložený v rámci vášho účtu AWS.
2. Konfigurácia nasadenia: Konfigurujete svoje prostredie nasadenia podobné používaniu Hub Guging Face Hub, ale ako zdroj modelu zadáte cestu vedierky S3.
3. Získanie modelu: Počas nasadenia sa model získa z vášho vedra S3, čím sa znižuje latencia, pretože model je uložený bližšie k vášmu nasadeniu (napr. Amazon Sagemaker).
4. Bezpečnosť a dodržiavanie predpisov: Tento prístup zvyšuje bezpečnosť tým, že udržiava hmotnosti modelu na vašom účte AWS, čo umožňuje lepšiu kontrolu nad prístupom a dodržiavaním organizačných politík.
Stručne povedané, použitie súkromného vedra S3 poskytuje väčšiu kontrolu nad ukladaním a nasadením modelu, zvyšuje bezpečnosť a znižuje latenciu v porovnaní s nasadením priamo z náboja objímania. Vyžaduje si však ďalšie kroky na nahrávanie modelov do vedra S3 pred nasadením [3].
Citácie:
[1] https://support.atlassian.com/bitbucket cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-aring/how-to-deploy-models-from-huggingface?View=AZUREML-API-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-for-tgi-on-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-Hub
[7] https://www.edstem.com/blog/deployinging--unning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deployinging-llm-from-s3-on-on-amazon-sagemaker