Automaatika skaleerimine elastse koormuse tasakaalustamise (ELB) abil Amazon SageMakeris hõlmab töökoormuse nõudmistel põhinevate juhtumite arvu dünaamilist kohandamist, levitades samal ajal tõhusalt sissetulevat liiklust. Siin on üksikasjalik ülevaade selle integratsiooni toimimisest:
Automaatne skaleerimine SageMakeris
Amazon SageMaker toetab reaalajas lõpp-punktide automaatne skaleerimist, võimaldades süsteemil dünaamiliselt kohandada mudeli jaoks ette nähtud juhtumite arvu vastusena muudatustele järelduste töökoormuses [3] [7]. See funktsioon tagab ressursside optimeerimise, suurendades tipptundidel ja skaleerimist madala nõudlusega perioodidel, säilitades sellega optimaalse jõudluse, minimeerides samal ajal kulusid [1] [3].
SageMaker pakub mitmeid automaatseid võimalusi, sealhulgas sihtmärkide jälgimise skaleerimise, sammude skaleerimise ja plaanipärase skaleerimise. Tavaliselt kasutatakse sihtmärgi jälgimise skaleerimist, kus määrate sihtmõõdiku (nt CPU kasutamine) ja SageMaker reguleerib eksemplaride arvu, et säilitada seda sihtmärki [3] [5].
Elastilise koormuse tasakaalustamise (ELB) integreerimine
Kuigi Sagemakeri automaatne skaleerimine keskendub peamiselt töökoormuse mõõdikutel põhinevale eksemplari arvule, suurendab integreerimine elastse koormuse tasakaalustamisega liikluse jaotust nende juhtumite vahel. ELB tagab, et sissetulevad taotlused suunatakse optimaalselt saadaolevatesse juhtumitesse, parandades reageerimisvõimet ja vähendades kitsaskohti [9].
Tüüpilises seadistuses registreerib ELB eksemplarid automaatse skaleerimise rühmas ja jagab nende liiklust. Kui eksemplarid lisatakse või eemaldatakse automaatse skaleerimise teel, reguleerib ELB automaatselt selle konfiguratsiooni, et lisada või välistada neid juhtumeid, tagades, et liiklus on alati suunatud aktiivsetele eksemplaridele [9].
Kui automaatse skaleerimine töötab ELB-ga SagEmakeris
1. töökoormuse jälgimine: SageMaker jälgib töökoormuse mõõdikuid, näiteks CPU kasutamist või samaaegseid taotlusi eksemplari kohta. Kui need mõõdikud ületavad eelnevalt määratletud läved, käivitatakse automaatse skaleerimise poliitika [2] [3].
2. skaleerimistoimingud: kui töökoormus suureneb, ulatub Sagemaker välja, pakkudes täiendavaid juhtumeid. ELB registreerib need uued juhtumid automaatselt ja hakkab neile liiklust levitama. Vastupidiselt, kui töökoormus väheneb, kaalub SageMaker, eemaldades tarbetud juhtumid, ja EB -i deregisted neid juhtumeid, et takistada neil liiklust saada [2] [9].
3. Liikluse jaotamine: kogu selle protsessi vältel tagab ELB, et sissetulevad taotlused jaotatakse tõhusalt aktiivsetes juhtumites. See mitte ainult ei suurenda jõudlust, vaid aitab säilitada ka järjepidevat kasutajakogemust, minimeerides reageerimisaegu ja vältides kitsaskohti [9].
4. Kulude optimeerimine: tegeliku nõudluse põhjal ja ELB -i kasutamisel liikluse jaotuse haldamiseks saavad organisatsioonid oma kulusid optimeerida. Nad maksavad ainult kasutatavate ressursside eest, vähendades tarbetuid kulusid madala nõudlusega perioodidel [3] [7].
Kokkuvõtlikult võib SageMakeris automaatse skaleerimise integreerimine elastse koormuse tasakaalustamisega kindla ja tõhusa viisi reaalajas järelduste töökoormuse haldamiseks. See tagab, et ressursse kohandatakse dünaamiliselt muutuvate nõudmiste rahuldamiseks, säilitades samal ajal optimaalse jõudluse ja kulutõhususe.
Tsitaadid:
]
]
]
]
]
]
[7] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html
[8] https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-policy.html
[9] https://jayendrapatil.com/aws-auto-scaling-elb/