Tehnologija Multi-Instance GPU (MIG) na postaji NVIDIA DGX ponuja več pomembnih prednosti, zlasti v okoljih, kjer mora več uporabnikov ali skupin učinkovito deliti vire GPU.
1. Izboljšana uporaba virov: MIG omogoča, da se en GPU razdeli na več primerkov, vsak z namenskimi viri, kot so pomnilnik, predpomnilnik in računanje jeder. To poveča uporabo GPU -ja, tako da omogoča več delovnih obremenitev, da se hkrati izvaja na enem samem GPU -ju, kar je še posebej koristno za naloge, ki v celoti ne nasičujejo računalniške zmogljivosti [1] [3] [9].
2. Zajamčena kakovost storitve (QoS): Vsak primerek MIG deluje neodvisno, kar zagotavlja predvidljivo prepustnost in zakasnitev. To pomeni, da četudi več nalog izvaja na istem GPU -ju, bo vsaka naloga imela dosledno delovanje brez motenj drugih nalog, kar je ključnega pomena za aplikacije, ki zahtevajo nizko zamudo in visoko zanesljivost [3] [9].
3. Izboljšano sodelovanje in prilagodljivost: MIG podpira več možnosti uvajanja, vključno z golimi kovini, zabojniki in virtualnimi stroji. Ta prilagodljivost omogoča skupinam, da učinkovito delijo vire GPU -ja, zaradi česar je idealna za sodelovalna okolja, kot so raziskovalni laboratoriji in ekipe podatkovnih znanosti [1] [3] [7].
4. STROŠKA UPORABA: MIG lahko z dovoljenjem več uporabnikom, da delijo en sam GPU, zmanjša potrebo po dodatni strojni opremi, s čimer je stroškovno učinkovita rešitev v primerjavi z nakupom ločenih GPU za vsakega uporabnika ali najem primerov GPU v oblaku [1] [4].
5. Povečan pretok za sklepanje o delovnih obremenitvah: MIG lahko znatno poveča pretok sklepanja, tako da omogoči, da se več majhnih modelov vzporedno izvaja na enem samem GPU -ju. To je še posebej koristno za aplikacije, ki vključujejo majhne modele z nizko zamudo, ki ne potrebujejo popolne zmogljivosti GPU [2] [7].
6. Varnost in izolacija: MIG zagotavlja strogo izolacijo med primerki in zagotavlja, da delovna obremenitev vsakega uporabnika varno deluje, ne da bi vplivala na druge uporabnike. To je še posebej pomembno v več-najemnih okoljih, kjer je varnost podatkov najpomembnejša [3] [9].
7. razširljivost in vsestranskost: Postaja DGX A100 s podporo za MIG je mogoče konfigurirati tako, da hkrati ravna z različnimi delovnimi obremenitvami. Na primer, nekateri GPU-ji so lahko namenjeni treningu AI, drugi pa se uporabljajo za visokozmogljive računalniške ali sklepanje, ki delujejo hkrati brez degradacije uspešnosti [2] [7].
Na splošno MIG v postaji DGX A100 povečuje produktivnost, učinkovitost in prilagodljivost pri dodelitvi virov GPU, zaradi česar je idealna rešitev za okolja, ki zahtevajo visokozmogljive računalniške in sodelovalne delovne prostore.
Navedbe:
[1] https://www.toolify.ai/ai-news/experience-the-power-of-nvidia-dgx-station-a100-971252
[2] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[3] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
[4] https://www.globenewswire.com/news-release/2020/11/16/2127366/0/sl/nvidia-dgx-station-a100-offers-researchers-ai-nata-Center-in-a-a-box.html
[5] http://nvidiaws.nvidia.com/news/nvidia-dgx-station-a100-offers-researchers-ai-Data-center-in-a-box
[6] https://www.megware.com/fileadmin/user_upload/landingpage%20nvidia/nvidia-ampere-architecture-whitepaper.pdf
[7] https://www.robustthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_publish.pdf
[8] https://www.fujitsu.com/au/products/computing/servers/supercomputer/gpu-computing/nvidia-dgx-systems/dgx-station/
[9] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
[10] https://aws.amazon.com/blogs/containers/maximizing-gpu-utilizacija-with-nvidias-moulti-instance-gpu-mig-on-amazon-eks-run-ron-pods-per-gpu-for-enhaind-performance/