Procesul de implementare diferă semnificativ atunci când se utilizează o găleată S3 privată față de hub -ul de față îmbrățișat, în principal în ceea ce privește accesibilitatea modelului, securitatea și latența.
Desfășurare folosind butucul de față îmbrățișat
Implementarea modelelor direct din hub -ul de față îmbrățișat implică accesul modelelor pe internet. Iată cum funcționează de obicei:
1. Selecția modelului: selectați modelul dorit din hub-ul Hugging Face, care găzduiește o gamă largă de modele pre-instruite.
2. Configurația implementării: configurați mediul dvs. de implementare, cum ar fi alegerea tipului de instanță adecvat și configurarea infrastructurii necesare (de exemplu, Azure Machine Learning sau Amazon Sagemaker).
3. Descărcare model: În timpul implementării, modelul este descărcat de la hub -ul de față care se îmbrățișează în mediul dvs. de implementare. Acest pas poate introduce latența și necesită conectivitate la internet.
4. Considerații de securitate: Deoarece modelele sunt accesate pe internet, pot exista probleme de securitate legate de confidențialitatea și conformitatea datelor.
Desfășurare folosind o găleată S3 privată
Implementarea modelelor de la o găleată S3 privată oferă securitate și control sporit asupra procesului de implementare:
1. Pregătirea modelului: mai întâi descărcați greutățile modelului din hub -ul de față îmbrățișat și le încărcați în găleata dvs. privată S3. Acest pas permite scanări de vulnerabilitate și se asigură că modelul este stocat în siguranță în contul dvs. AWS.
2. Configurația implementării: configurați mediul de implementare similar cu utilizarea hub -ului de față, dar specificați calea cu găleată S3 ca sursă de model.
3. Recuperarea modelului: în timpul implementării, modelul este preluat din găleata S3, reducând latența, deoarece modelul este păstrat mai aproape de mediul dvs. de implementare (de exemplu, Amazon Sagemaker).
4. Securitate și conformitate: Această abordare îmbunătățește securitatea prin păstrarea greutăților modelului în contul dvs. AWS, permițând un control mai bun asupra accesului și respectării politicilor organizaționale.
În rezumat, utilizarea unei găleții S3 private oferă un control mai mare asupra stocării și implementării modelului, îmbunătățește securitatea și reduce latența în comparație cu implementarea direct din hub -ul de față îmbrățișat. Cu toate acestea, necesită pași suplimentari pentru încărcarea modelelor în găleata S3 înainte de implementare [3].
Citări:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-pace-tgi-on-amazon-stagemaker-AI/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with- run-ai
[6] https://huggingface.co/blog/introducting-private-hub
[7] https://www.edstem.com/blog/deploying-urning-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-AI
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker