Технологія GPU (MIG) на станції DGX NVIDIA пропонує кілька значних переваг, особливо в середовищах, де декілька користувачів або команд повинні ефективно ділитися ресурсами GPU.
1. Посилене використання ресурсів: MIG дозволяє розподіляти один графічний процесор на кілька екземплярів, кожен з яких має спеціальні ресурси, такі як пам'ять, кеш та обчислення ядра. Це максимізує використання GPU, дозволяючи декільком робочим навантаженням одночасно працювати на одному GPU, що особливо корисно для завдань, які не повністю насичують обчислювальну здатність GPU [1] [3] [9].
2. Гарантована якість обслуговування (QoS): кожен екземпляр MIG працює незалежно, забезпечуючи передбачувану пропускну здатність та затримку. Це означає, що навіть якщо кілька завдань виконуються на одному GPU, кожне завдання матиме послідовну продуктивність без перешкод з інших завдань, що має вирішальне значення для додатків, що потребують низької затримки та високої надійності [3] [9].
3. Поліпшена співпраця та гнучкість: MIG підтримує декілька варіантів розгортання, включаючи голий метал, контейнери та віртуальні машини. Ця гнучкість дозволяє командам ефективно ділитися ресурсами GPU, що робить його ідеальним для спільних середовищ, таких як дослідницькі лабораторії та групи з наукових даних [1] [3] [7].
4. Ефективність витрат: Дозволяючи декільком користувачам ділитися одним GPU, MIG може зменшити потребу в додатковому обладнанні, що робить його економічно вигідним рішенням порівняно з придбанням окремих графічних процесорів для кожного користувача або оренду хмарних екземплярів GPU [1] [4].
5. Збільшення пропускної здатності для навантажень на висновку: MIG може значно збільшити пропускну здатність висновку, дозволяючи декільком малим моделям працювати паралельно на одному GPU. Це особливо корисно для додатків, що включають невеликі моделі з низькою затримкою, які не потребують повної продуктивності GPU [2] [7].
6. Безпека та ізоляція: MIG забезпечує сувору ізоляцію між екземпляром, гарантуючи, що навантаження кожного користувача працює надійно, не впливаючи на інших користувачів. Це особливо важливо в багатогранних середовищах, де безпека даних є першорядною [3] [9].
7. Масштабованість та універсальність: станція DGX A100, за підтримки MIG, може бути налаштована для одночасно різноманітних навантажень. Наприклад, деякі графічні процесори можуть бути присвячені навчанню AI, а інші використовуються для високоефективних обчислень або завдань висновку, всі виконуються одночасно без деградації продуктивності [2] [7].
Загалом, MIG на станції DGX A100 підвищує продуктивність, ефективність та гнучкість у розподілі ресурсів GPU, що робить його ідеальним рішенням для середовищ, що потребують високоефективних обчислень та спільних робочих просторів.
Цитати:
[1] https://www.toolify.ai/ai-news/experience-the-power-of-nvidia-dgx-station-a100-971252
[2] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[3] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
[4] https://www.globenewswire.com/news-release/2020/11/16/2127366/0/en/nvidia-dgx-station-a100-ffers-researchers-ai-data-center-in-a-box.html
[5] http://nvidianews.nvidia.com/news/nvidia-dgx-station-a100-offers-researchers-ai-data-center-in-a-box
[6] https://www.megware.com/fileadmin/user_upload/landingpage%20nvidia/nvidia-ampere-architecture-whitepaper.pdf
[7] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_published.pdf
[8] https://www.fujitsu.com/au/products/computing/servers/supercomputer/gpu-computing/nvidia-dgx-systems/dgx-station/
[9] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
[10] https://aws.amazon.com/blogs/containers/maximization-gpu-utilization-with-nvidias-multi-instance-gpu-mig-on-amazon-eks-running-more-pods-per-for-enhanced-perferance/