Proces nasazení se výrazně liší při použití soukromého kbelíku S3 versus objímání náboje, především z hlediska dostupnosti modelu, zabezpečení a latence.
Nasazení pomocí Hub objímající obličej
Nasazení modelů přímo z objímání obličejového rozbočovače zahrnuje přístup k modelům přes internet. Jak to obvykle funguje:
1. Výběr modelu: Vyberete požadovaný model z Hub Hubling Hub, který je hostitelem široké škály předem vyškolených modelů.
2. Konfigurace nasazení: Nakonfigurujete své prostředí nasazení, například výběr vhodného typu instance a nastavení potřebné infrastruktury (např. Azure Machine Learning nebo Amazon SageMaker).
3. stahování modelu: Během nasazení je model stažen z rozbočovače objímání do vašeho prostředí nasazení. Tento krok může zavést latenci a vyžaduje připojení k internetu.
4. Bezpečnostní úvahy: Protože jsou přístupné k modelům přes internet, mohou existovat obavy o zabezpečení související s ochranou osobních údajů a dodržování předpisů.
Nasazení pomocí soukromého kbelíku S3
Nasazení modelů ze soukromého kbelíku S3 nabízí zvýšenou zabezpečení a kontrolu nad procesem nasazení:
1. Příprava modelu: Nejprve si stáhnete váhy modelu z rozbočovače objímání a nahrajte je do svého soukromého kbelíku S3. Tento krok umožňuje skenování zranitelnosti a zajišťuje, že je model bezpečně uložen v rámci vašeho účtu AWS.
2. Konfigurace nasazení: Nakonfigurujete své prostředí nasazení podobné použití Hub Hubging Face Hub, ale jako zdroj modelu zadáte cestu kbelíku S3.
3. Získání modelu: Během nasazení je model získán z kbelíku S3, což snižuje latenci, protože model je uložen blíže k vašemu prostředí nasazení (např. Amazon Sagemaker).
4. Zabezpečení a dodržování předpisů: Tento přístup zvyšuje zabezpečení udržováním hmotností modelu v rámci vašeho účtu AWS, což umožňuje lepší kontrolu nad přístupem a dodržování organizačních politik.
Stručně řečeno, použití soukromého kbelíku S3 poskytuje větší kontrolu nad ukládáním a nasazením modelu, zvyšuje zabezpečení a snižuje latenci ve srovnání s nasazením přímo z objímání obličejového rozbočovače. Před nasazením však vyžaduje další kroky k nahrávání modelů do kbelíku S3 [3].
Citace:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-uggingface?view=azureMl-Api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy--face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-gunning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-lm-from-s3-on-amazon-sagemaker