กระบวนการปรับใช้แตกต่างกันอย่างไรเมื่อใช้ถังส่วนตัว S3 กับฮับใบหน้ากอด

การปรับใช้โดยใช้ Hugging Face Hub

การปรับใช้โมเดลโดยตรงจาก Hugging Face Hub เกี่ยวข้องกับการเข้าถึงโมเดลผ่านอินเทอร์เน็ต นี่คือวิธีการทำงาน:

1. การเลือกรุ่น: คุณเลือกรุ่นที่ต้องการจาก Hugging Face Hub ซึ่งโฮสต์รุ่นที่ผ่านการฝึกอบรมมาก่อน
2. การกำหนดค่าการปรับใช้: คุณกำหนดค่าสภาพแวดล้อมการปรับใช้ของคุณเช่นการเลือกประเภทอินสแตนซ์ที่เหมาะสมและการตั้งค่าโครงสร้างพื้นฐานที่จำเป็น (เช่นการเรียนรู้ของเครื่อง Azure หรือ Amazon Sagemaker)
3. ดาวน์โหลดรุ่น: ระหว่างการปรับใช้โมเดลจะถูกดาวน์โหลดจาก Hugging Face Hub ไปยังสภาพแวดล้อมการปรับใช้ของคุณ ขั้นตอนนี้อาจแนะนำเวลาแฝงและต้องมีการเชื่อมต่ออินเทอร์เน็ต
4. ข้อควรพิจารณาด้านความปลอดภัย: เนื่องจากมีการเข้าถึงแบบจำลองผ่านทางอินเทอร์เน็ตจึงอาจมีข้อกังวลด้านความปลอดภัยที่เกี่ยวข้องกับความเป็นส่วนตัวของข้อมูลและการปฏิบัติตาม

การปรับใช้โดยใช้ถัง S3 ส่วนตัว

การปรับใช้โมเดลจากถัง S3 ส่วนตัวให้ความปลอดภัยที่เพิ่มขึ้นและควบคุมกระบวนการปรับใช้:

1. การเตรียมรุ่น: คุณดาวน์โหลดน้ำหนักรุ่นก่อนจาก Hugging Face Hub และอัปโหลดไปยังถัง S3 ส่วนตัวของคุณ ขั้นตอนนี้ช่วยให้สามารถสแกนช่องโหว่และทำให้มั่นใจได้ว่าโมเดลจะถูกจัดเก็บไว้อย่างปลอดภัยภายในบัญชี AWS ของคุณ
2. การกำหนดค่าการปรับใช้: คุณกำหนดค่าสภาพแวดล้อมการปรับใช้ของคุณคล้ายกับการใช้ Hugging Face Hub แต่คุณระบุเส้นทาง Bucket S3 เป็นแหล่งที่มาของโมเดล
3. การดึงแบบจำลอง: ในระหว่างการปรับใช้โมเดลจะถูกดึงมาจากถัง S3 ของคุณลดเวลาแฝงเนื่องจากโมเดลถูกเก็บไว้ใกล้กับสภาพแวดล้อมการปรับใช้ของคุณ (เช่น Amazon Sagemaker)
4. ความปลอดภัยและการปฏิบัติตาม: วิธีการนี้ช่วยเพิ่มความปลอดภัยโดยรักษาน้ำหนักแบบจำลองไว้ในบัญชี AWS ของคุณช่วยให้สามารถควบคุมการเข้าถึงและปฏิบัติตามนโยบายขององค์กรได้ดีขึ้น

โดยสรุปการใช้ถัง S3 ส่วนตัวให้การควบคุมที่เก็บข้อมูลและการปรับใช้มากขึ้นเพิ่มความปลอดภัยและลดเวลาแฝงเมื่อเทียบกับการปรับใช้โดยตรงจากฮับใบหน้ากอด อย่างไรก็ตามต้องใช้ขั้นตอนเพิ่มเติมในการอัปโหลดโมเดลไปยังถัง S3 ก่อนการปรับใช้ [3]

การอ้างอิง:
[1] https://support.atlassian.com/bitbucket-cloud/docs/deploy-to-aws-with-s3/
[2] https://learn.microsoft.com/en-us/azure/machine-learning/how-to-deplep
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
[4] https://docs.travis-ci.com/user/deployment/s3/
[5] https://www.run.ai/blog/how-to-deploy-hugging-face-models-with-run-ai
[6] https://huggingface.co/blog/introducing-private-hub
[7] https://www.edstem.com/blog/deploying-running-app-s3-cloudfront/
[8] https://huggingface.co/blog/alvarobartt/deploy-from-hub-to-vertex-ai
[9] https://stackoverflow.com/questions/79138919/deploying-llm-from-s3-on-amazon-sagemaker