Proses penyebaran berbeda secara signifikan ketika menggunakan ember S3 pribadi versus hub wajah yang memeluk, terutama dalam hal aksesibilitas model, keamanan, dan latensi.
Penyebaran Menggunakan HUB HUBGING FACE
Menyebarkan model langsung dari hub wajah pelukan melibatkan mengakses model melalui internet. Begini cara kerjanya:
1. Pemilihan Model: Anda memilih model yang diinginkan dari Hugging Face Hub, yang menampung berbagai model yang terlatih.
2. Konfigurasi Penyebaran: Anda mengonfigurasi lingkungan penyebaran Anda, seperti memilih jenis instance yang sesuai dan mengatur infrastruktur yang diperlukan (mis., Pembelajaran mesin Azure atau Amazon Sagemaker).
3. Model Download: Selama penempatan, model diunduh dari hub wajah pemeluk ke lingkungan penyebaran Anda. Langkah ini dapat memperkenalkan latensi dan membutuhkan konektivitas internet.
4. Pertimbangan Keamanan: Karena model diakses melalui Internet, mungkin ada masalah keamanan yang terkait dengan privasi dan kepatuhan data.
Penempatan menggunakan ember S3 pribadi
Menyebarkan model dari bucket S3 pribadi menawarkan keamanan dan kontrol yang ditingkatkan atas proses penyebaran:
1. Persiapan Model: Anda pertama -tama mengunduh bobot model dari hub wajah pelukan dan mengunggahnya ke ember S3 pribadi Anda. Langkah ini memungkinkan pemindaian kerentanan dan memastikan bahwa model disimpan dengan aman di dalam akun AWS Anda.
2. Konfigurasi Penyebaran: Anda mengonfigurasi lingkungan penyebaran Anda yang mirip dengan menggunakan hub wajah pelukan, tetapi Anda menentukan jalur bucket S3 sebagai sumber model.
3. Model Retrieval: Selama penyebaran, model diambil dari ember S3 Anda, mengurangi latensi karena model disimpan lebih dekat ke lingkungan penyebaran Anda (mis., Amazon Sagemaker).
4. Keamanan dan Kepatuhan: Pendekatan ini meningkatkan keamanan dengan menjaga bobot model dalam akun AWS Anda, memungkinkan kontrol yang lebih baik atas akses dan kepatuhan terhadap kebijakan organisasi.
Singkatnya, menggunakan bucket S3 pribadi memberikan lebih banyak kontrol atas penyimpanan model dan penyebaran, meningkatkan keamanan, dan mengurangi latensi dibandingkan dengan penyebaran langsung dari hub wajah yang memeluk. Namun, membutuhkan langkah -langkah tambahan untuk mengunggah model ke ember S3 sebelum penyebaran [3].
Kutipan:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3.
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-face-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker