Az Amazon Sagemaker automatikus méretezése szignifikánsan befolyásolja a modellek, például a DeepSeek-R1 telepítésének költségeit azáltal, hogy dinamikusan beállítja az esetek számát a munkaterhelési igények alapján. Íme egy részletes magyarázat arról, hogy az automatikus méretezés hogyan befolyásolja a költségeket:
Auto-méretezés alapok
Az automatikus méretezés lehetővé teszi a Sagemaker számára, hogy automatikusan növelje vagy csökkentse a modellhez kiosztott példányok számát a bejövő forgalom vagy munkaterhelés alapján. Ez azt jelenti, hogy a magas kereslet időszakaiban több esetet biztosítanak a megnövekedett terhelés kezelésére, és fordítva, az alacsony kereslet időszakaiban a példányokat csökkentik a felesleges költségek minimalizálása érdekében [7].
Költségoptimalizálás
1. Csökkent tétlen erőforrások: Ha az inaktivitás időszakaiban nulla példányra csökken, akkor kerülje a tétlen erőforrások fizetését, ami jelentősen csökkentheti a költségeket, különösen a fejlesztési vagy tesztelési környezetben, ahol a forgalom szórványos lehet [4].
2. Hatékony erőforrás-felhasználás: Az automatikus méretezés biztosítja, hogy csak a szükséges erőforrásokért fizetjen. Ez azt jelenti, hogy a csúcsidőben a megnövekedett forgalmat túlnyomó erőforrások nélkül kezelheti, és a csúcsidőn kívüli órákban csökkent a költségek minimalizálása érdekében [7].
3. Kiszámítható költségkezelés: Az automatikus méretezéssel beállíthatja az ütemezett méretezési műveleteket a kiszámítható forgalmi mintákhoz. Ez lehetővé teszi a költségek hatékonyabb kezelését azáltal, hogy az erőforrás -elosztást a várható igényhez igazítja [4].
Mély-R1 telepítési megfontolások
Amikor a DeepSeek-R1-et vagy annak desztillált variánsokat telepítik a Sagemaker-en, az automatikus méretezés különösen hasznos lehet. Ezeket a modelleket, különösen a nagyobbokat, mint például a DeepSeek-R1-Distill-QWEN-14B vagy a DeepSeek-R1-Distill-QWEN-32B, jelentős számítási erőforrásokra van szükség, és költséges lehet a folyamatos futtatáshoz [6]. Az automatikus méretezés kihasználásával biztosíthatja, hogy ezeket az erőforrásokat csak szükség esetén biztosítsák, csökkentve az általános költségeket.
Biztonsági és teljesítmény -megfontolások
Noha az automatikus méretezés elsősorban a költségoptimalizálási stratégia, jól integrálódik a Sagemaker biztonsági funkcióival is. Például a modellek telepítése egy privát S3 vödörből javíthatja a biztonságot azáltal, hogy a modell súlyát közelebb tartja a végpontokhoz, és lehetővé teszi a sebezhetőségi vizsgálatot a telepítés előtt [3]. Ezenkívül a nagyobb kötegelt méretek valós idejű következtetéshez történő felhasználása optimalizálhatja mind a költségeket, mind a teljesítményt [2].
Összefoglalva: az automatikus méretezés a Sagemakerben egy hatékony eszköz a modellek, például a DeepSeek-R1 telepítésének költségeinek optimalizálására, biztosítva, hogy az erőforrások igazodjanak a tényleges kereslethez, ezáltal csökkentve a felesleges költségeket az alacsony aktivitás időszakaiban.
Idézetek:
[1] https://www.linkedin.com/pulse/unlocking-cost-effication-strategies-optimizing-amazon-af4Of
[2] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[4] https://aws.amazon.com/blogs/machine-learning/unlock-cost-savings-with-the-new-scale-down-zero-feature-in-amazon-sagemaker-inference/
[5] https://community.aws/content/2sg84dnucfza9z4hdfqti0tcvkp/deploying-deepseek-r1-on-amazon-sagemaker?lang=en?
[6] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-onaws?lang=en
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://www.linkedin.com/posts/ranman_wile-deepseek-r1-istechnikailag-avable-activity-72908937243262721-3qiv
[9] https://aws.amazon.com/sagemaker/pricing/