A telepítési folyamat jelentősen különbözik, ha egy privát S3 vödröt használ, szemben az átölelő archöz, elsősorban a modell hozzáférhetősége, a biztonság és a késés szempontjából.
A telepítés az átölelő arc -hub segítségével
A modellek közvetlenül az átölelő oldalról történő telepítése magában foglalja a modellek elérését az interneten keresztül. Itt működik, hogyan működik:
1. Modellválasztás: A kívánt modellt az átölelő Face Hub-ból választja ki, amely az előre képzett modellek széles skáláját tartalmazza.
2. telepítési konfiguráció: Konfigurálja a telepítési környezetet, például a megfelelő példánytípus kiválasztását és a szükséges infrastruktúra beállítását (például Azure Machine Learning vagy Amazon Sagemaker).
3. Modell letöltése: A telepítés során a modellt az átölelő arc -csomópontból letöltik a telepítési környezetbe. Ez a lépés bevezetheti a késleltetést, és internetkapcsolatot igényel.
4. Biztonsági megfontolások: Mivel a modellek az interneten keresztül érhetők el, az adatok magánéletével és megfeleléssel kapcsolatos biztonsági aggályok merülhetnek fel.
A telepítés privát S3 vödör segítségével
A modellek telepítése a magán S3 vödörből fokozott biztonságot és ellenőrzést nyújt a telepítési folyamat felett:
1. Modellkészítés: Először töltse le a modell súlyát az átölelő archöz, és töltse fel azokat a privát S3 vödörbe. Ez a lépés lehetővé teszi a sebezhetőség vizsgálatát, és biztosítja, hogy a modell biztonságosan tárolódjon az AWS -fiókjában.
2. Telepítési konfiguráció: A telepítési környezetet konfigurálja, mint az átölelési archöz, de az S3 vödör elérési útját modell forrásként határozza meg.
3. modell -visszakeresés: A telepítés során a modell az S3 vödörből származik, csökkentve a késleltetést, mivel a modellt közelebb tárolják a telepítési környezethez (például az Amazon Sagemaker).
4. Biztonság és megfelelés: Ez a megközelítés javítja a biztonságot azáltal, hogy a modell súlyát az AWS -fiókjában tartja, lehetővé téve a hozzáférés és a szervezeti politikák betartása jobb ellenőrzését.
Összefoglalva: a privát S3 vödör használata nagyobb irányítást biztosít a modell tárolására és a telepítésre, javítja a biztonságot, és csökkenti a késleltetést, összehasonlítva a közvetlenül az átölelő archöz. Ugyanakkor további lépéseket igényel a modellek feltöltéséhez az S3 vödörbe a telepítés előtt [3].
Idézetek:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-wertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker