NVIDIA A100의 MIG (Multi-Instance GPU) 기술은 DGX Spark와 같은 시스템과 비교하여 여러 시나리오에서 MIG 또는 유사한 파티션 기능을 활용하지 못할 수있는 여러 시나리오에서 상당한 이점을 제공합니다. MIG가 상당한 이점을 제공하는 몇 가지 주요 시나리오는 다음과 같습니다.
1. 자원 활용 및 효율성 : MIG를 사용하면 단일 A100 GPU를 각각 메모리, 컴퓨팅 및 캐시와 같은 고유 한 전용 리소스를 갖춘 최대 7 개의 독립 GPU 인스턴스로 분할 될 수 있습니다. 이를 통해 간섭없이 동일한 GPU에서 여러 워크로드가 동시에 실행되어 리소스 활용을 극대화하고 일관된 성능을 보장합니다. 대조적으로, MIG가없는 시스템은 이러한 높은 수준의 활용을 달성하지 못할 수 있으며, 더 작거나 덜 까다로운 작업을 실행할 때 자원이 낭비 될 수 있습니다 [2] [4].
2. 보장 된 서비스 품질 (QOS) : MIG는 각 인스턴스가 보장 된 성능 수준을 수신하도록 보장하며, 이는 예측 가능하고 안정적인 실행 시간이 필요한 응용 프로그램에 중요합니다. 이는 여러 사용자 또는 작업이 동일한 GPU 리소스를 공유하는 환경에서 특히 유익합니다. 단일 작업은 GPU를 독점하고 다른 작업의 성능에 영향을 미치는 것을 방지합니다 [2] [6].
3. 보안 및 격리 : MIG는 인스턴스간에 강력한 격리를 제공하며, 이는 무단 액세스로부터 민감한 데이터와 워크로드를 보호하는 데 필수적입니다. 이 격리는 여러 사용자 또는 응용 프로그램이 동일한 GPU에서 실행 되더라도 데이터의 데이터를 안전하고 별도로 유지하도록합니다 [8].
4. 배포의 유연성 : MIG는 베어 메탈, 컨테이너에서 CUDA 응용 프로그램 실행 또는 확장 가능한 관리를 위해 Kubernetes 사용을 포함하여 다양한 배포 옵션을 지원합니다. 이러한 유연성을 통해 사용자는 다양한 워크로드 및 환경에서 GPU 리소스를 효율적으로 관리하고 할당 할 수 있으며, 이는 MIG가없는 시스템에서 간단하지 않을 수 있습니다 [4].
5. 확장 성 및 사용자 지원 : 모든 GPU가 MIG를 확보하는 DGX A100과 같은 시스템에서 최대 56 명의 사용자가 동시에 GPU 가속도를 독립적으로 활용할 수 있습니다. 이는 여러 사용자가 AI 교육, 추론 또는 데이터 분석과 같은 작업을 위해 GPU 리소스에 액세스 해야하는 공유 컴퓨팅 환경에서 특히 유리합니다 [3] [4].
6. 추론 및 소규모 모델 워크로드 : MIG는 GPU의 전체 용량이 필요하지 않은 소규모 저도 모델로 다중 추론 작업을 실행하는 데 특히 유리합니다. GPU를 더 작은 인스턴스로 분할함으로써 이러한 작업은 자원을 낭비하지 않고 효율적으로 실행될 수 있으며, 이는 MIG가없는 시스템에서 일반적인 과제입니다 [3] [4].
전반적으로 A100의 MIG 기술은 유사한 파티셔닝 기능을 활용하지 않는 시스템에 비해 자원 효율성, 보안, 유연성 및 확장 성 측면에서 상당한 이점을 제공합니다.
인용 :
[1] https://www.fibermall.com/blog/nvidia-a100.htm
[2] https://docs.nvidia.com/dgx/dgxa100-user-guide/using-mig.html
[3] https://www.weka.io/wp-content/uploads/2023/04/weka-nvidia-dgx-a100-systems.pdf
[4] https://www.skyblue.de/uploads/datasheets/nvidia_twp_dgx_a100_system_architecture.pdf
[5] https://www.cudocompute.com/blog/comparative-analysis-of-nvidia-a100-vs-h100-gpus
[6] https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-mig-on-amazon-cs-more-pods-per-for-enhanced-performance
[7] https://sourcesup.renater.fr/wiki/atelieromp/_media/new_a100_et_dgxa100_nvidia_rjosien_28juillet2020.pdf
[8] https://massedcompute.com/faq-answers/?question=what+ are the+benefits+of+using+ multi-instance+gpu+%28mig%29+nvidia+ and+https and the+ benefits+of+using+using+https.