„NVIDIA A100“ daugiafunkcinis GPU (MIG) technologija suteikia reikšmingų pranašumų keliuose scenarijuose, palyginti su tokiomis sistemomis kaip „DGX Spark“, kuri gali nenaudoti MIG ar panašių padalijimo galimybių. Čia yra keletas pagrindinių scenarijų, kai MIG teikia didelę naudą:
1. Išteklių panaudojimas ir efektyvumas: MIG leidžia vienam A100 GPU padalyti į septynis nepriklausomus GPU egzempliorius, kurių kiekvienas turi savo specialius išteklius, tokius kaip atmintis, skaičiavimas ir talpykla. Tai leidžia keliems darbo krūviams vienu metu veikti tuo pačiu GPU be trukdžių, maksimaliai išnaudoti išteklius ir užtikrinti nuoseklų našumą. Priešingai, sistemos, neturinčios MIG, gali nesugebėti pasiekti tokio aukšto panaudojimo lygio, todėl iššvaistyti ištekliai, kai vykdomos mažesnės ar mažiau reikalaujančios užduotys [2] [4].
2. Garantuojama paslaugų kokybė (QoS): MIG užtikrina, kad kiekvienas egzempliorius gautų garantuotą našumo lygį, kuris yra labai svarbus programoms, reikalaujančioms nuspėjamo ir stabilaus vykdymo laiko. Tai ypač naudinga aplinkoje, kai keli vartotojai ar užduotys turi tuos pačius GPU išteklius, nes tai neleidžia vienai užduotims monopolizuoti GPU ir paveikti kitų užduočių atlikimą [2] [6].
3. Saugumas ir izoliacija: MIG suteikia stiprią izoliaciją tarp egzempliorių, o tai yra būtina norint apsaugoti neskelbtinus duomenis ir darbo krūvius nuo neteisėtos prieigos. Ši izoliacija užtikrina, kad net jei keli vartotojai ar programos veikia tuo pačiu GPU, jų duomenys išlieka saugūs ir atskirti [8].
4. Diegimo lankstumas: MIG palaiko įvairias diegimo parinktis, įskaitant CUDA programų paleidimą plikame metale, konteineriuose ar „Kubernetes“ naudojimą mastelio valdymui. Šis lankstumas leidžia vartotojams efektyviai valdyti ir paskirstyti GPU išteklius įvairiuose darbo krūviuose ir aplinkoje, o tai gali būti ne taip paprasta sistemoms, kurioms trūksta MIG [4].
5. Mastelio ir vartotojo palaikymas: tokiose sistemose kaip DGX A100, kur visi GPU yra įjungtos MIG, iki 56 vartotojai gali tuo pačiu metu savarankiškai panaudoti GPU pagreitį. Tai ypač naudinga bendroje skaičiavimo aplinkoje, kai keliems vartotojams reikia prieigos prie GPU išteklių tokioms užduotims kaip AI mokymas, išvados ar duomenų analizė [3] [4].
6. Išvados ir nedideli modelio darbo krūviai: MIG yra ypač naudinga vykdant kelis išvadų darbus su mažais, mažai latentinių modelių modeliais, kuriems nereikia viso GPU talpos. Padalijus GPU į mažesnius atvejus, šias užduotis galima atlikti efektyviai neišleidžiant išteklių, o tai yra dažnas iššūkis sistemose be MIG [3] [4].
Apskritai, „A100“ MIG technologija suteikia didelių pranašumų, susijusių su išteklių efektyvumu, saugumu, lankstumu ir mastelio keitimu, palyginti su sistemomis, kurios nenaudoja panašių skaidymo galimybių.
Citatos:
[1] https://www.fibermall.com/blog/nvidia-a100.htm
[2] https://docs.nvidia.com/dgx/dgxa100-user-guide/using-mig.html
[3] https://www.weka.io/wp-content/uploads/2023/04/weka-vidia-dgx-a100-systems.pdf
[4] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architcture.pdf
[5] https://www.cudocompute.com/blog/comparative-analysis-of-nvidia-a100-vs-h100-gpus
[6] https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-gpu-mig-on-mazon-sks-running-more-pods-lpu-for-phan-phancance-performance/
[7] https://sourcesup.renater.fr/wiki/atelieromp/_media/new_a100_et_dgxa100_nvidia_rjosien_28juillet2020.pdf
[8] https://massedcompute.com/faq-answers/?question=hat+are+the+benefits+Of+using+multi-instance+gpu+%28Mig%29+on+nvidia+a100+gpus+in+a+cloud+environment%3F