Viacnásobná technológia GPU (MIG) v stanici NVIDIA DGX ponúka niekoľko významných výhod, najmä v prostrediach, kde viacerí používatelia alebo tímy potrebujú efektívne zdieľať zdroje GPU.
1. Vylepšené využitie zdrojov: MIG umožňuje rozdelenie jedného GPU do viacerých inštancií, z ktorých každý má vyhradené zdroje, ako sú pamäť, vyrovnávacia pamäť a výpočtové jadrá. To maximalizuje využitie GPU tým, že umožňuje súčasné prevádzkovanie viacerých pracovných zaťažení na jednom GPU, čo je obzvlášť prospešné pre úlohy, ktoré úplne nenasýtia výpočtovú kapacitu GPU [1] [3] [9].
2. Zaručená kvalita služieb (QoS): Každá inštancia MIG funguje nezávisle a zabezpečuje predvídateľnú priepustnosť a latenciu. To znamená, že aj keď na rovnakom GPU beží viac úloh, každá úloha bude mať konzistentný výkon bez rušenia z iných úloh, čo je rozhodujúce pre aplikácie vyžadujúce nízku latenciu a vysokú spoľahlivosť [3] [9].
3. Vylepšená spolupráca a flexibilita: MIG podporuje viac možností nasadenia vrátane holého kovu, kontajnerov a virtuálnych strojov. Táto flexibilita umožňuje tímom efektívne zdieľať zdroje GPU, vďaka čomu je ideálny pre spoluprácu, ako sú výskumné laboratóriá a tímy vedy o údajoch [1] [3] [7].
4. Nákladová efektívnosť: Tým, že viacerým používateľom umožní zdieľať jeden GPU, môže MIG znížiť potrebu ďalšieho hardvéru, čím sa z neho stane nákladovo efektívne riešenie v porovnaní s nákupom samostatných GPU pre každého používateľa alebo prenájmu inštancií Cloud GPU [1] [4].
5. Zvýšená priepustnosť pre inferenčné pracovné zaťaženie: MIG môže významne zvýšiť priepustnosť inferencie tým, že umožní viacerým malým modelom bežať paralelne na jednom GPU. Je to užitočné najmä pre aplikácie zahŕňajúce malé modely s nízkou latenciou, ktoré nevyžadujú úplný výkon GPU [2] [7].
6. Zabezpečenie a izolácia: MIG poskytuje prísnu izoláciu medzi inštanciami, čím sa zabezpečí, že pracovné zaťaženie každého používateľa beží bezpečne bez toho, aby ovplyvnili ostatných používateľov. Toto je obzvlášť dôležité v prostrediach s viacerými nájomcami, kde je bezpečnosť údajov prvoradá [3] [9].
7. Škálovateľnosť a všestrannosť: Stanica DGX A100 s podporou MIG môže byť nakonfigurovaná tak, aby zvládla súčasne rôzne pracovné zaťaženie. Napríklad niektoré GPU sa môžu venovať tréningu AI, zatiaľ čo iné sa používajú na vysokovýkonné výpočtové alebo inferenčné úlohy, všetky sú súčasne bežné bez degradácie výkonu [2] [7].
Celkovo MIG v stanici DGX A100 zvyšuje produktivitu, efektívnosť a flexibilitu pri alokácii zdrojov GPU, čo z neho robí ideálne riešenie pre prostredia vyžadujúce vysoko výkonné výpočtové a spolupráce.
Citácie:
[1] https://www.tooolify.ai/ai-news/experience-the-power-of-nvidia-dgx-tation-ation-ation-a100-971252
[2] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architurt.pdf
[3] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
Https://www.globenewswire.com/news-release/2020/11/16/2127366/0/en/nvidia-dgx-sation-a100-Ofpers-ofesearchers-ai-ai-ata-center--box.html
[5] http://nvidianews.nvidia.com/news/nvidia-dgx-tation-a100-ffers-researchers-ai-ata-tata-center-in-in-box
[6] https://www.megware.com/fileadmin/user_upload/landingpage%20nvidia/nvidia-ampere-architurt-witepaper.pdf
Https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-tation-ation-a100-System-architutec-wite-wite-paper_published.pdf
Https://www.fujitsu.com/au/products/computing/servers/supercomputer/gpu-computing/nvidia-dgx-systems/dgx-station/
[9] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
Https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-Multi-instance-gpu-mig-on-on-amazon-eks-- running-more-ods-pods-per-pu-for-enhanced-performance/