Technologia GPU (MIG) na stacji NVIDIA DGX oferuje kilka znaczących korzyści, szczególnie w środowiskach, w których wielu użytkowników lub zespołów musi skutecznie udostępniać zasoby GPU.
1. Ulepszone wykorzystanie zasobów: MIG umożliwia podział pojedynczego GPU na wiele instancji, każdy z dedykowanymi zasobami, takimi jak pamięć, pamięć podręczna i rdzenie obliczeniowe. Maksymalizuje to wykorzystanie GPU, umożliwiając jednocześnie działanie wielu obciążeń na jednym GPU, co jest szczególnie korzystne dla zadań, które nie w pełni nasycają pojemności obliczeniowej [1] [3] [9].
2. Gwarantowana jakość usług (QoS): Każda instancja MIG działa niezależnie, zapewniając przewidywalną przepustowość i opóźnienie. Oznacza to, że nawet jeśli wiele zadań działa na tym samym GPU, każde zadanie będzie miało spójną wydajność bez zakłóceń z innych zadań, co jest kluczowe dla zastosowań wymagających niskiego opóźnienia i wysokiej niezawodności [3] [9].
3. Ulepszona współpraca i elastyczność: MIG obsługuje wiele opcji wdrażania, w tym gołego metal, kontenery i maszyny wirtualne. Ta elastyczność pozwala zespołom skutecznie udostępniać zasoby GPU, dzięki czemu idealnie nadaje się do środowisk współpracy, takich jak laboratoria badawcze i zespoły nauki danych [1] [3] [7].
4. Wydajność kosztowa: umożliwiając wielu użytkownikom udostępnienie pojedynczego procesora graficznego, MIG może zmniejszyć potrzebę dodatkowego sprzętu, co czyni go opłacalnym rozwiązaniem w porównaniu z zakupem osobnych GPU dla każdego użytkownika lub wynajęcie instancji GPU w chmurze [1] [4].
5. Zwiększona przepustowość obciążeń wnioskowania: MIG może znacznie zwiększyć przepustowość wnioskowania, umożliwiając wiele małych modeli działanie równolegle na jednym GPU. Jest to szczególnie przydatne w aplikacjach obejmujących małe modele o niskiej opóźnieniu, które nie wymagają pełnej wydajności GPU [2] [7].
6. Bezpieczeństwo i izolacja: MIG zapewnia ścisłą izolację między instancjami, zapewniając, że obciążenie każdego użytkownika działa bezpiecznie bez wpływu na innych użytkowników. Jest to szczególnie ważne w środowiskach wieloczerpiałowych, w których bezpieczeństwo danych jest najważniejsze [3] [9].
7. Skalowalność i wszechstronność: stacja DGX A100, z obsługą MIG, można skonfigurować do obsługi różnych obciążeń jednocześnie. Na przykład niektóre GPU mogą być poświęcone szkoleniu AI, podczas gdy inne są używane do zadań obliczeniowych lub wnioskowania o wysokiej wydajności, wszystkie działające jednocześnie bez degradacji wydajności [2] [7].
Ogólnie rzecz biorąc, MIG w stacji DGX A100 zwiększa wydajność, wydajność i elastyczność w alokacji zasobów GPU, co czyni go idealnym rozwiązaniem dla środowisk wymagających wysokiej wydajności obliczeniowej i współpracy.
Cytaty:
[1] https://www.toolyfy.ai/ai-news/experience-the-power-of-nvidia-dgx-station-a100-971252
[2] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[3] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
[4] https://www.globenewswire.com/news-release/2020/11/16/2127366/0/en/nvidia-dgx-station-a100-fakers-researchers-ai-data-center-in-a-box.html
[5] http://nvidianews.nvidia.com/news/nvidia-dgx-station-a100-fakers-researchers-ai-data-cocenter-in-a-box
[6] https://www.megware.com/fileadmin/user_upload/landingpage%20nvidia/nvidia-ampere-architecture-whitepaper.pdf
[7] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-System-archite-paper_publisted.pdf
[8] https://www.fujitsu.com/au/products/computing/servers/supercomputer/gpu-computing/nvidia-dgx-systems/dgx-tatation/
[9] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
[10] https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-gpu-mig-on-amazon-eks-running-more-pods-per-gpu-for-enhipanced-performance/