Käyttöönottoprosessi eroaa merkittävästi käytettäessä yksityistä S3 -kauhaa verrattuna halattavaan kasvokeskukseen, pääasiassa mallin saatavuuden, turvallisuuden ja viiveen suhteen.
11
Mallien käyttöönotto suoraan halattavasta kasvokeskuksesta sisältyy mallien käyttäminen Internetissä. Tässä miten se tyypillisesti toimii:
1. Mallivalinta: Valitset halutun mallin HUGGing Face Hubista, joka isännöi laajan valikoiman esikoulutettuja malleja.
2. Käyttöönottokokoonpano: Määrität käyttöönottoympäristön, kuten valitsemalla asianmukainen ilmentymätyyppi ja asetat tarvittavan infrastruktuurin (esim. Azure Machine Learning tai Amazon Sagemaker).
3. Mallin lataus: Käyttöönottojen aikana malli ladataan halaus kasvokeskuksesta käyttöönottoympäristöön. Tämä vaihe voi tuoda viivettä ja vaatii Internet -yhteyden.
4. Turvallisuusnäkökohdat: Koska malleihin pääsee Internetissä, tiedonsuojaan ja vaatimustenmukaisuuteen liittyy tietoturvaongelmia.
käyttöönotto yksityisen S3 -ämpäri
Mallien käyttöönotto yksityisestä S3 -kauhasta tarjoaa parannettua turvallisuutta ja hallintaa käyttöönottoprosessissa:
1. Mallin valmistelu: Lataat ensin mallipainot halattavasta kasvokeskuksesta ja lataat ne yksityiseen S3 -ämpäriin. Tämä vaihe mahdollistaa haavoittuvuuden skannaukset ja varmistaa, että malli tallennetaan turvallisesti AWS -tiliisi.
2. Käyttöönottokokoonpano: Määrität käyttöönottoympäristösi, joka on samanlainen kuin halaus kasvokeskuksen käyttäminen, mutta määrität S3 -ämpäripolun mallilähteenä.
3. Mallin haku: Käynnistyksen aikana malli noudetaan S3 -kauhastasi vähentäen viivettä, koska malli on tallennettu lähempänä käyttöönottoympäristöäsi (esim. Amazon Sagemaker).
4. Turvallisuus ja vaatimustenmukaisuus: Tämä lähestymistapa parantaa turvallisuutta pitämällä mallipainot AWS -tililläsi, mikä mahdollistaa organisaation politiikkojen pääsyn paremman hallinnan ja noudattamisen.
Yhteenvetona voidaan todeta, että yksityisen S3 -kauhan käyttäminen tarjoaa enemmän hallintaa mallin varastoinnista ja käyttöönotosta, parantaa turvallisuutta ja vähentää latenssia verrattuna suoraan halattavasta kasvokeskuksesta. Se vaatii kuitenkin lisävaiheet mallien lähettämiseksi S3 -kauhaan ennen käyttöönottoa [3].
Viittaukset:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
.
.
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-Hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker