Dağıtım işlemi, esas olarak model erişilebilirliği, güvenlik ve gecikme açısından, sarılma yüz merkezine karşı özel bir S3 kovası kullanılırken önemli ölçüde farklılık gösterir.
Hugging Face Hub'ı kullanarak dağıtım
Modelleri doğrudan sarılma yüz merkezinden dağıtmak, modellere internet üzerinden erişmeyi içerir. İşte tipik olarak nasıl çalışır:
1. Model seçimi: Çok çeşitli önceden eğitilmiş modellere sahip olan Hugging Face Hub'dan istenen modeli seçersiniz.
2. Dağıtım yapılandırması: Dağıtım ortamınızı uygun örnek türünü seçmek ve gerekli altyapıyı (örn. Azure Machine Learning veya Amazon Sagemaker) ayarlamak gibi yapılandırırsınız.
3. Model İndirme: Dağıtım sırasında model, sarılma yüz merkezinden dağıtım ortamınıza indirilir. Bu adım gecikme getirebilir ve internet bağlantısı gerektirir.
4. Güvenlik hususları: Modeller İnternet üzerinden erişildiğinden, veri gizliliği ve uyumluluğu ile ilgili güvenlik endişeleri olabilir.
Özel bir S3 kovası kullanarak dağıtım
Özel bir S3 kovasından modelleri dağıtmak, dağıtım süreci üzerinde gelişmiş güvenlik ve kontrol sunar:
1. Model Hazırlık: İlk olarak Model Ağırlıklarını Hugging Face Hub'dan indirir ve bunları özel S3 kovanıza yüklersiniz. Bu adım güvenlik açığı taramalarına izin verir ve modelin AWS hesabınız içinde güvenli bir şekilde saklanmasını sağlar.
2. Dağıtım Yapılandırması: Dağıtım ortamınızı Hugging Face Hub'ı kullanmaya benzer şekilde yapılandırırsınız, ancak S3 kova yolunu model kaynağı olarak belirlersiniz.
3. Model Geri Alma: Dağıtım sırasında, model S3 kovanızdan alınır, model dağıtım ortamınıza (ör. Amazon Sagemaker) daha yakın saklandığından gecikmeyi azaltır.
4. Güvenlik ve uyumluluk: Bu yaklaşım, AWS hesabınızda model ağırlıklarını tutarak güvenliği artırarak, erişim ve organizasyon politikalarına uygunluk üzerinde daha iyi kontrol sağlar.
Özetle, özel bir S3 kovası kullanmak, model depolama ve dağıtım üzerinde daha fazla kontrol sağlar, güvenliği artırır ve doğrudan kucaklama yüz merkezinden dağıtıma kıyasla gecikmeyi azaltır. Ancak, dağıtımdan önce S3 kovasına model yüklemek için ek adımlar gerektirir [3].
Alıntılar:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-with-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-ploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-disted-models-with-hging-face-tgi-
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-teploy-hugging-face-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-tamazon-sagemaker