NVIDIA DGX 스테이션의 MIG (Multi-Instance GPU) 기술은 특히 여러 사용자 또는 팀이 GPU 리소스를 효율적으로 공유 해야하는 환경에서 몇 가지 중요한 이점을 제공합니다.
1. 향상된 리소스 사용 : MIG를 사용하면 단일 GPU를 여러 인스턴스로 분할 할 수 있으며 각각 메모리, 캐시 및 컴퓨팅 코어와 같은 전용 리소스가 있습니다. 이것은 단일 GPU에서 여러 워크로드를 동시에 실행할 수있게함으로써 GPU 활용도를 극대화하는데, 이는 특히 GPU의 컴퓨팅 용량을 완전히 포화시키지 않는 작업에 유리합니다 [1] [3] [9].
2. 보장 된 서비스 품질 (QOS) : 각 MIG 인스턴스는 독립적으로 작동하여 예측 가능한 처리량 및 대기 시간을 보장합니다. 즉, 여러 작업이 동일한 GPU에서 실행 되더라도 각 작업은 다른 작업의 간섭없이 일관된 성능을 갖습니다. 이는 낮은 대기 시간과 높은 신뢰성을 요구하는 응용 프로그램에 중요합니다 [3] [9].
3. 공동 작업 및 유연성 향상 : MIG는 베어 메탈, 컨테이너 및 가상 머신을 포함한 여러 배포 옵션을 지원합니다. 이러한 유연성을 통해 팀은 GPU 리소스를 효율적으로 공유 할 수 있으므로 연구 실험실 및 데이터 과학 팀과 같은 협업 환경에 이상적입니다 [1] [3] [7].
4. 비용 효율성 : 여러 사용자가 단일 GPU를 공유 할 수있게함으로써 MIG는 추가 하드웨어의 필요성을 줄여서 각 사용자에 대해 별도의 GPU를 구매하거나 클라우드 GPU 인스턴스를 임대하는 것과 비교하여 비용 효율적인 솔루션이 될 수 있습니다 [1] [4].
5. 추론 워크로드에 대한 처리량 증가 : MIG는 단일 GPU에서 여러 개의 작은 모델을 병렬로 실행할 수있게함으로써 추론 처리량을 크게 증가시킬 수 있습니다. 이는 GPU의 전체 성능이 필요하지 않은 소규모 저도 모델과 관련된 응용 프로그램에 특히 유용합니다 [2] [7].
6. 보안 및 격리 : MIG는 인스턴스간에 엄격한 격리를 제공하여 각 사용자의 워크로드가 다른 사용자에게 영향을 미치지 않고 안전하게 실행되도록합니다. 이것은 데이터 보안이 가장 중요한 다중 테넌트 환경에서 특히 중요합니다 [3] [9].
7. 확장 성 및 다양성 : MIG를 지원하는 DGX 스테이션 A100은 다양한 워크로드를 동시에 처리하도록 구성 할 수 있습니다. 예를 들어, 일부 GPU는 AI 교육에 전념 할 수있는 반면, 다른 GPU는 성능 저하없이 동시에 실행되는 고성능 컴퓨팅 또는 추론 작업에 사용됩니다 [2] [7].
전반적으로 DGX 스테이션 A100의 MIG는 GPU 자원 할당의 생산성, 효율성 및 유연성을 향상시켜 고성능 컴퓨팅 및 협업 작업 공간이 필요한 환경에 이상적인 솔루션입니다.
인용 :
[1] https://www.toolify.ai/ai-news/experience-the-power-of-nvidia-dgx- 스테이션 -100-971252
[2] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[3] https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
[4] https://www.globenewswire.com/news-release/2020/11/16/2127366/0/en/nvidia-dgx-station-fopers-researchers-ai-data-center-in-a-box.html
[5] http://nvidianews.nvidia.com/news/nvidia-dgx-station-fon-offers-researchers-ai-data-center-in-a-box
[6] https://www.megware.com/fileadmin/user_upload/landingpage%20nvidia/nvidia-ampere-architection-whitepaper.pdf
[7] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architection--paper_published.pdf
[8] https://www.fujitsu.com/au/products/computing/servers/supercomputer/gpu-computing/nvidia-dgx-systems/dgx-station/
[9] https://www.nvidia.com/en-us/technologies/multi-instance-gpu/
[10] https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-mig-on-amazon-ks-more-pods-per-for-enhanced-performance