NVIDIA DGX 스테이션 A100은 여러 사용자 및 원격 액세스를 효율적으로 처리하도록 설계되었으므로 중앙 집중식 AI 리소스가 필요한 데이터 과학 팀 및 조직에 이상적인 솔루션입니다. 다음은 이러한 기능을 관리하는 방법입니다.
여러 사용자를 처리합니다
- 다중 인스턴스 GPU (MIG) : DGX 스테이션 A100은 MIG를 지원하므로 최대 28 개의 별도의 GPU 장치를 개별 사용자 또는 작업에 할당 할 수 있습니다. 이는 여러 사용자가 시스템 성능에 영향을 미치지 않고 동시에 동일한 GPU를 공유 할 수 있음을 의미합니다. MIG를 통해 각 GPU 인스턴스는 자체 메모리, 캐시 및 스트리밍 멀티 프로세서를 가질 수 있으므로 효율적인 리소스 활용을 보장합니다 [1] [2].
- 병렬 워크로드 : 시스템은 교육, 추론 및 분석 워크로드를 병렬로 실행할 수 있습니다. 이를 통해 여러 사용자가 서로 다른 프로젝트를 동시에 작업 할 수있어 4 개의 상호 연결된 NVIDIA A100 GPU의 잠재력을 활용할 수 있습니다 [1] [4].
- 자원 공유 : MIG는 학생 또는 데이터 과학 팀 구성원과 같은 여러 사용자 간의 자원 공유를 용이하게합니다. 이 기능은 특히 여러 추론 작업을 평가하거나 모델 탐색을 위해 Jupyter 노트북을 사용하는 데 특히 유용합니다 [2].
원격 액세스 및 관리
- 원격 관리 : DGX 스테이션 A100은 강력한 원격 관리 기능을 제공합니다. 사용자는 자세한 시스템 로그, 센서 판독 및 성능 모니터링을 제공하는 웹 기반 인터페이스를 사용하여 거리에서 시스템을 관리 할 수 있습니다. 여기에는 GPU, 메모리 DIMMS, CPU 및 기타 구성 요소의 온도 모니터링이 포함됩니다 [2].
-IPMI 및 KVM : 시스템은 자동화 된 모니터링 및 관리를 위해 IPMI (Intelligent Platform Management Interface)를 지원합니다. 또한 KVM (키보드, 비디오, 마우스) 기능을 제공하므로 사용자는 시스템 디스플레이에 원격으로 액세스하고 물리적으로 존재하는 것처럼 관리 할 수 있습니다. 여기에는 원격 부팅 또는 시스템을 다시 설치하기위한 가상 저장 기능이 포함됩니다 [2].
- 보안 프로토콜 : 다른 컴퓨터에서 DGX 스테이션에 대한 원격 액세스를 가능하게하기 위해 SSH와 같은 보안 프로토콜을 설정할 수 있습니다. 이를 통해 사용자는 어디서나 AI 워크로드를 유연하게 관리 할 수 있습니다 [5].
-NVIDIA 시스템 관리 인터페이스 : 사용자는 NVIDIA-SMI (NVIDIA-SMI) 명령 줄 도구를 사용하여 사용 백분율 및 온도 값을 포함하여 GPU 성능을 모니터링하고 관리 할 수 있습니다 [5].
전반적으로 DGX Station A100은 여러 사용자 및 원격 액세스를위한 강력하고 사무실 친화적 인 솔루션을 제공하여 기업 사무실에서 연구 시설에 이르기까지 다양한 환경에 적합합니다.
인용 :
[1] https://www.compecta.com/dgxstation-a100.html
[2] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architection--paper_published.pdf
[3] https://docs.nvidia.com/dgx/pdf/dgx-station-user-guide.pdf
[4] https://www.e4company.com/wp-content/uploads/dgx-family-print-dgx-station-a100-datasheet-us-partner.pdf
[5] https://www.fibermall.com/blog/nvidia-dgx-systems.htm
[6] https://opentools.ai/news/nvidia-unleashes--future-with-personal-ai-supercomputers
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-and-dgx-station-ersonal-ai-computers.334300/
[8] https://www.serversimply.com/blog/how-to-connect-to-nvidia-dgx-cloud-advantages-configurations-and-setup-guide