展開プロセスは、主にモデルのアクセシビリティ、セキュリティ、およびレイテンシの観点から、プライベートS3バケットとハグのフェイスハブを使用する場合に大きく異なります。
hugging hugging face hubを使用した展開
抱きしめるフェイスハブからモデルを直接展開するには、インターネットを介してモデルにアクセスすることが含まれます。ここでそれが通常どのように機能するか：
1。モデルの選択：ハグするフェイスハブから目的のモデルを選択します。
2。展開構成：適切なインスタンスタイプの選択や必要なインフラストラクチャのセットアップ(Azure Machine LearningまたはAmazon Sagemaker)のセットアップなど、展開環境を構成します。
3。モデルのダウンロード：展開中に、モデルは抱きしめているフェイスハブから展開環境にダウンロードされます。このステップは遅延を導入する可能性があり、インターネット接続が必要です。
4。セキュリティ上の考慮事項：モデルにはインターネットを介してアクセスされるため、データのプライバシーとコンプライアンスに関連するセキュリティ上の懸念がある可能性があります。
###プライベートS3バケットを使用した展開
プライベートS3バケットからモデルを展開することで、展開プロセスに対するセキュリティと制御が強化されています。
1。モデルの準備：最初に、抱きしめるフェイスハブからモデルの重みをダウンロードし、プライベートS3バケットにアップロードします。このステップにより、脆弱性スキャンが可能になり、AWSアカウント内にモデルが安全に保存されるようになります。
2。展開構成：ハグするフェイスハブを使用するのと同様の展開環境を構成しますが、S3バケットパスをモデルソースとして指定します。
3。モデルの取得：展開中に、モデルはS3バケツから取得され、モデルが展開環境の近くに保存されているため、レイテンシが削減されます(Amazon Sagemakerなど)。
4。セキュリティとコンプライアンス：このアプローチは、AWSアカウント内にモデルの重みを維持し、組織ポリシーへのアクセスとコンプライアンスをより適切に制御できるようにすることにより、セキュリティを強化します。
要約すると、プライベートS3バケツを使用すると、モデルのストレージと展開をより強化し、セキュリティを強化し、抱きしめるフェイスハブから直接展開するのと比較してレイテンシを減らします。ただし、展開前にモデルをS3バケットにアップロードするための追加の手順が必要です[3]。
引用：
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distill-modelsとhugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker