Izvietošanas process ievērojami atšķiras, ja tiek izmantots privāts S3 kauss salīdzinājumā ar apskaujošo sejas centru, galvenokārt attiecībā uz modeļa piekļuvi, drošību un latentumu.
Izvietošana, izmantojot apskaujošo sejas rumbu
Modeļu izvietošana tieši no apskāviena Face Hub ietver piekļuvi modeļiem internetā. Lūk, kā tas parasti darbojas:
1. Modeļa izvēle: jūs izvēlaties vēlamo modeli no apskaujošās sejas rumbas, kas mitina plašu iepriekš apmācītu modeļu klāstu.
2. Izvietošanas konfigurācija: jūs konfigurējat izvietošanas vidi, piemēram, izvēloties atbilstošo instanču veidu un iestatot nepieciešamo infrastruktūru (piemēram, Azure mašīnu apguvi vai Amazon Sagemaker).
3. Modeļa lejupielāde: Izvietošanas laikā modelis tiek lejupielādēts no apskaujošās sejas centra uz jūsu izvietošanas vidi. Šis solis var ieviest latentumu un prasa interneta savienojumu.
4. Drošības apsvērumi: Tā kā modeļiem var piekļūt internetā, var būt drošības problēmas, kas saistītas ar datu privātumu un atbilstību.
Izvietošana, izmantojot privātu S3 kausu
Izvietošana modeļos no privāta S3 kausa piedāvā uzlabotu drošību un kontroli pār izvietošanas procesu:
1. Modeļa sagatavošana: vispirms lejupielādējat modeļa svarus no apskaujošās sejas centrmezgla un augšupielādējat tos savā privātajā S3 kausā. Šis solis ļauj skenēt ievainojamību un nodrošina, ka modelis tiek droši saglabāts jūsu AWS kontā.
2. Izvietošanas konfigurācija: jūs konfigurējat izvietošanas vidi, kas ir līdzīga apskāviena sejas centrmezglu izmantošanai, bet kā modeļa avotu norādāt S3 kausa ceļu.
3. Modeļa iegūšana: Izvietošanas laikā modelis tiek iegūts no jūsu S3 kausa, samazinot latentumu, jo modelis tiek saglabāts tuvāk jūsu izvietošanas videi (piemēram, Amazon Sagemaker).
4. Drošība un atbilstība: Šī pieeja uzlabo drošību, saglabājot modeļa svaru jūsu AWS kontā, ļaujot labāk kontrolēt piekļuvi un atbilstību organizācijas politikai.
Rezumējot, privātā S3 kausa izmantošana nodrošina lielāku kontroli pār modeļa glabāšanu un izvietošanu, uzlabo drošību un samazina latentumu, salīdzinot ar izvietošanu tieši no apskaujošās sejas centrmezgla. Tomēr pirms izvietošanas modeļiem ir nepieciešamas papildu darbības, lai augšupielādētu modeļus S3 kausā [3].
Atsauces:
[1] https://support.atlassian.com/bitbucket-cloud/docs/doply-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-ploofe-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-depseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deling-hugging-face-models-with-nun-i
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-riunning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from- hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker