Technologia MIG (Multi-instance GPU) znacznie zwiększa skalowalność stacji NVIDIA DGX A100, umożliwiając podział poszczególnych GPU na wiele, w pełni izolowanych instancji. Ta funkcja umożliwia jednoczesnym wspieraniu wielu użytkowników lub zespołów, dzięki czemu jest bardzo odpowiednia dla środowisk współpracy lub wspólnych obszarów roboczych.
Kluczowe ulepszenia
1. PARTICJA ZASOBY: MIG umożliwia partycjonowanie pojedynczego GPU na aż siedem niezależnych instancji, każda z własną dedykowaną pamięcią, pamięcią podręczną i multiprocessor streaming. Zapewnia to, że każda instancja działa niezależnie bez konkurowania o zasoby, maksymalizując w ten sposób wydajność i wykorzystanie GPU [4] [8].
2. Gwarantowana jakość usług (QoS): Zapewniając izolowane zasoby dla każdej instancji, MIG zapewnia przewidywalną wydajność i gwarantowane QoS. Jest to szczególnie korzystne dla jednoczesnego uruchamiania wielu miejsc pracy, takich jak żądania wnioskowania AI, bez wpływu na wydajność systemu [8] [9].
3. Obsługa wielu użytkowników: Stacja DGX A100 może zapewnić do 28 oddzielnych instancji GPU, gdy wszystkie cztery GPU są włączone z MIG. Umożliwia to wielu użytkownikom dostęp i korzystanie z systemu jednocześnie, co czyni go idealnym dla zespołów nauki danych i instytucji edukacyjnych [2] [7].
4. Elastyczność wdrażania: MIG obsługuje różne opcje wdrażania, w tym uruchamianie aplikacji CUDA na gołym metal lub pojemnikach. Ta elastyczność jest dodatkowo zwiększona przez zestaw narzędzi NVIDIA Container, który pozwala użytkownikom uruchamiać kontenery przyczepne CUDA w instancjach GPU [4] [9].
5. Skalowalność i opłacalność: umożliwiając wielu użytkownikom efektywne udostępnianie tych samych zasobów GPU, MIG pomaga zmniejszyć potrzebę poszczególnych konfiguracji GPU lub wynajem w chmurze. To sprawia, że stacja DGX jest opłacalnym rozwiązaniem dla organizacji, szczególnie w porównaniu z wynajmowaniem zasobów GPU w chmurze [1] [5].
przypadki użycia
- Szkolenie i wnioskowanie AI: MIG pozwala na konfigurowanie różnych GPU na stacji DGX dla różnych obciążeń, takich jak szkolenie AI, HPC lub analizy danych. Ta elastyczność ma kluczowe znaczenie dla organizacji, które muszą skutecznie zarządzać różnorodnymi obciążeniem AI [4] [10].
- Środowiska edukacyjne i badawcze: Możliwość wspierania wielu użytkowników jednocześnie sprawia, że stacja DGX jest szczególnie korzystna dla instytucji edukacyjnych i laboratoriów badawczych, gdzie wspólne zasoby są wspólne [1] [4].
Podsumowując, technologia MIG zwiększa skalowalność stacji DGX, zapewniając elastyczne, wielopoziomowe środowisko, które maksymalizuje wykorzystanie GPU, jednocześnie zapewniając przewidywalną wydajność. To sprawia, że stacja DGX jest idealną platformą do współpracy badań i rozwoju AI w różnych branżach.
Cytaty:
[1] https://www.toolyfy.ai/ai-news/experience-the-power-of-nvidia-dgx-station-a100-971252
[2] https://www.globenewswire.com/news-release/2020/11/16/2127366/0/en/nvidia-dgx-station-a100-fakers-researchers-ai-data-center-in-a-box.html
[3] https://images.nvidia.com/aem-dam/en-zz/solutions/data-center/nvidia-ampere-architecture-whitepaper.pdf
[4] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-System-archite-paper_publisted.pdf
[5] https://www.eweek.com/big-data-and-analytics/how-nvidia-a100-station-brings-data-cocent-heft-to-workgroups/
[6] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
[7] http://nvidianews.nvidia.com/news/nvidia-dgx-station-a100-fakers-researchers-ai-data-cocenter-in-a-box
[8] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
[9] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[10] https://www.compecta.com/dgxstation-a100.html
[11] https://www.e4company.com/wp-content/uploads/dgx-family-print-dgx-station-a100-datasheet-us-partner.pdf