배치 프로세스는 개인 S3 버킷과 포옹 페이스 허브를 사용할 때 주로 모델 접근성, 보안 및 대기 시간 측면에서 크게 다릅니다.
Hugging Face Hub를 사용한 배포
Hugging Face Hub에서 직접 모델을 배포하려면 인터넷을 통해 모델에 액세스해야합니다. 다음은 일반적으로 작동하는 방식입니다.
1. 모델 선택 : Hugging Face Hub에서 원하는 모델을 선택하여 광범위한 미리 훈련 된 모델을 호스팅합니다.
2. 배포 구성 : 적절한 인스턴스 유형 선택 및 필요한 인프라 설정 (예 : Azure Machine Learning 또는 Amazon Sagemaker)과 같은 배포 환경을 구성합니다.
3. 모델 다운로드 : 배포 중에 모델은 Hugging Face Hub에서 배포 환경으로 다운로드됩니다. 이 단계는 대기 시간을 도입 할 수 있으며 인터넷 연결이 필요합니다.
4. 보안 고려 사항 : 인터넷을 통해 모델에 액세스되므로 데이터 개인 정보 및 규정 준수와 관련된 보안 문제가있을 수 있습니다.
개인 S3 버킷을 사용한 배포
개인 S3 버킷에서 모델을 배포하면 배포 프로세스에 대한 보안 및 제어가 향상됩니다.
1. 모델 준비 : 먼저 Hugging Face Hub에서 모델 가중치를 다운로드하여 개인 S3 버킷에 업로드합니다. 이 단계에서는 취약성 스캔을 허용하고 모델이 AWS 계정 내에 단단히 저장되도록합니다.
2. 배포 구성 : Hugging Face Hub 사용과 유사한 배포 환경을 구성하지만 S3 버킷 경로를 모델 소스로 지정합니다.
3. 모델 검색 : 배포 중에 모델은 S3 버킷에서 검색되어 모델이 배포 환경 (예 : Amazon Sagemaker)에 더 가깝게 저장되므로 대기 시간을 줄입니다.
4. 보안 및 규정 준수 :이 접근법은 AWS 계정 내에서 모델 가중치를 유지하여 보안을 향상시켜 액세스 및 조직 정책 준수를보다 잘 제어 할 수 있습니다.
요약하면, 개인 S3 버킷을 사용하면 모델 스토리지 및 배포에 대한 제어를 더 많이 제어 할 수 있으며 Hugging Face Hub에서 직접 배포하는 것과 비교하여 보안을 향상 시키며 대기 시간을 줄입니다. 그러나 배치하기 전에 모델을 S3 버킷에 업로드하기위한 추가 단계가 필요합니다 [3].
인용 :
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-host-host-deepseek-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker