Scaling otomatis secara signifikan meningkatkan kinerja model Deepseek-R1 di Amazon Sagemaker dengan secara dinamis menyesuaikan jumlah instance dan salinan model berdasarkan permintaan real-time. Kemampuan ini memastikan bahwa model dapat secara efisien menangani fluktuasi beban kerja, memberikan pengalaman pengguna yang mulus sambil mengoptimalkan pemanfaatan dan biaya sumber daya.
Manfaat utama penskalaan otomatis untuk Deepseek-R1 di Sagemaker
1. Alokasi Sumber Daya Dinamis: Penskalaan otomatis memungkinkan Sagemaker untuk menyediakan instance tambahan dan menggunakan lebih banyak salinan model ketika lalu lintas meningkat, memastikan bahwa model dapat menangani volume permintaan yang lebih tinggi tanpa mengurangi kinerja. Sebaliknya, ketika lalu lintas berkurang, contoh yang tidak perlu dihapus, mengurangi biaya dengan menghindari sumber daya idle [1] [2] [5].
2. Peningkatan responsif: Dengan menskalakan untuk memenuhi peningkatan permintaan, penskalaan otomatis membantu mempertahankan latensi rendah dan throughput tinggi. Ini sangat penting untuk model AI generatif seperti Deepseek-R1, di mana responsif secara langsung memengaruhi pengalaman pengguna [2] [8].
3. Efisiensi Biaya: Scaling otomatis memastikan bahwa sumber daya digunakan secara efisien. Selama jam non-puncak, titik akhir dapat meningkatkan ke nol, mengoptimalkan penggunaan sumber daya dan efisiensi biaya. Fitur ini sangat bermanfaat untuk aplikasi dengan pola lalu lintas variabel [1] [5].
4. Penskalaan Adaptif: Fitur Scaling Auto Sagemaker dirancang untuk beradaptasi dengan kebutuhan spesifik model AI generatif seperti Deepseek-R1. Dengan memanfaatkan metrik resolusi tinggi seperti concurrentRequestSpermodel dan concurrentRentRequestSpercopy, sistem dapat membuat keputusan penskalaan yang tepat, memastikan bahwa model tersebut tetap responsif dan hemat biaya [8] [8].
5. Integrasi dengan Penyeimbangan Beban: Penskalaan otomatis bekerja mulus dengan penyeimbangan beban elastis untuk mendistribusikan permintaan yang masuk lintas sumber daya yang diperkecil secara efisien. Integrasi ini memastikan bahwa tidak ada contoh tunggal yang kewalahan, mempertahankan kinerja yang konsisten di semua permintaan [1] [8].
Penyebaran dan evaluasi kinerja
Model Deepseek-R1 dapat digunakan pada Sagemaker menggunakan Hugging Face Text Generation Inference (TGI), yang mendukung penskalaan otomatis. Kinerja model-model ini dievaluasi berdasarkan metrik seperti latensi ujung-ke-ujung, throughput, waktu untuk token pertama, dan latensi antar-token. Sementara evaluasi yang disediakan menawarkan wawasan tentang kinerja relatif, pengguna didorong untuk melakukan pengujian sendiri untuk mengoptimalkan kinerja untuk kasus penggunaan tertentu dan konfigurasi perangkat keras [1] [4].
Singkatnya, skala otomatis pada Sagemaker meningkatkan kinerja Deepseek-R1 dengan memastikan alokasi sumber daya yang dinamis, meningkatkan responsif, mengoptimalkan biaya, dan beradaptasi dengan perubahan tuntutan, semuanya sambil mempertahankan kemampuan model bahasa berkualitas tinggi.
Kutipan:
[1.
[2] https://randomtrees.com/blog/auto-scaling-for-generative-ai-odels-with-amazon-sagemaker/
[3] https://repost.aws/questions?view=all&sort=recent&page=eyj2Ijoylcjuijoizgtmyktumnf0wuzn Y1dmahkxcgrvut09iiwidci6ikzrbitwvzi2m05zvklzbwgzt0vwzk5wvm5ovKivoxbyn21tq0ppdthrwwc9in0
[4.
[5] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[6] https://www.byteplus.com/en/topic/382691
[7] https://campustechnology.com/articles/2025/03/14/aws-frice-deepseek-r1-as-fulent-managed-serverless-model-recommends-guardrails.aspx
[8] https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-inference-launches-faster-auto-scaling-for-generative-ai-models/