Quá trình triển khai khác nhau đáng kể khi sử dụng xô S3 riêng so với trung tâm ôm mặt, chủ yếu về khả năng tiếp cận mô hình, bảo mật và độ trễ.
Triển khai bằng Hub Face Hub Hugging
Triển khai các mô hình trực tiếp từ Hub Face Hub liên quan đến việc truy cập các mô hình qua Internet. Đây là cách nó hoạt động thường:
1. Lựa chọn mô hình: Bạn chọn mô hình mong muốn từ Hub Face Hub, nơi lưu trữ một loạt các mô hình được đào tạo trước.
2. Cấu hình triển khai: Bạn định cấu hình môi trường triển khai của mình, chẳng hạn như chọn loại thể hiện phù hợp và thiết lập cơ sở hạ tầng cần thiết (ví dụ: Azure Machine Learning hoặc Amazon Sagemaker).
3. Tải xuống mô hình: Trong quá trình triển khai, mô hình được tải xuống từ Hub Face Hub đến môi trường triển khai của bạn. Bước này có thể giới thiệu độ trễ và yêu cầu kết nối Internet.
4. Xem xét bảo mật: Vì các mô hình được truy cập qua Internet, có thể có những lo ngại về bảo mật liên quan đến quyền riêng tư và tuân thủ dữ liệu.
Triển khai bằng cách sử dụng thùng S3 riêng
Triển khai các mô hình từ thùng S3 riêng tư cung cấp bảo mật nâng cao và kiểm soát quá trình triển khai:
1. Chuẩn bị mô hình: Trước tiên, bạn tải xuống các trọng số mô hình từ trung tâm khuôn mặt ôm và tải chúng lên thùng S3 riêng tư của bạn. Bước này cho phép quét lỗ hổng và đảm bảo rằng mô hình được lưu trữ an toàn trong tài khoản AWS của bạn.
2. Cấu hình triển khai: Bạn định cấu hình môi trường triển khai của mình tương tự như sử dụng Hub Face Hub, nhưng bạn chỉ định đường dẫn xô S3 làm nguồn mô hình.
3. Truy xuất mô hình: Trong quá trình triển khai, mô hình được lấy từ thùng S3 của bạn, giảm độ trễ do mô hình được lưu trữ gần với môi trường triển khai của bạn (ví dụ: Amazon Sagemaker).
4.
Tóm lại, sử dụng thùng S3 riêng tư cung cấp nhiều quyền kiểm soát hơn đối với việc lưu trữ và triển khai mô hình, tăng cường bảo mật và giảm độ trễ so với việc triển khai trực tiếp từ trung tâm Hugging Face. Tuy nhiên, nó yêu cầu các bước bổ sung để tải các mô hình lên thùng S3 trước khi triển khai [3].
Trích dẫn:
.
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deploy-models-from-huggingface?view=azureml-api-2
.
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
.
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker