NVLINK 5.0은 시스템 내에서 여러 GPU 간의 직접 통신을 향상 시키도록 설계된 NVIDIA의 초고속 상호 연결 기술의 최신 반복입니다. 이 기술은 AI 교육 및 고성능 컴퓨팅과 같은 GPU 집약적 인 워크로드에 특히 중요합니다. NVLINK 5.0이 여러 GPU간에 데이터 전송을 처리하는 방법은 다음과 같습니다.
아키텍처 및 대역폭
NVLINK 5.0은 Blackwell Architecture를 위해 제작되었으며 이전 모델에 비해 대역폭이 크게 증가합니다. 각 Blackwell GPU는 최대 18 개의 NVlink 연결을 지원하며 각 링크는 100GB/s의 양방향 대역폭을 제공합니다. 이로 인해 총 대역폭이 GPU 당 1.8TB/s의 총 대역폭을 초래하며, 이는 이전 세대의 두 배, PCIE Gen5의 대역폭의 14 배 이상입니다 [1] [2] [4].
직접 GPU-to-GPU 커뮤니케이션
NVLINK는 CPU 중개자가 필요없이 GPU 간의 직접 통신을 가능하게하여 대기 시간을 줄이고 성능을 극대화합니다. 이 지점 간 연결 아키텍처는 각 GPU가 다른 모든 GPU에 대한 전용 링크를 갖도록하여 대역폭 공유없이 빠른 데이터 전송을 허용합니다 [7].
확장 성을위한nvlink 스위치
NVLINK 스위치 칩은 서버 랙 내 및 서버 랙 사이에서 여러 GPU에서 NVLINK 연결을 스케일링하는 데 중요한 역할을합니다. 전체 NVLINK 속도로 모든 GPU 통신을 용이하게하여 데이터 센터를 거대한 GPU로 효과적으로 전환합니다. 이 설정은 비 블로킹 컴퓨팅 패브릭에서 최대 576 개의 완전히 연결된 GPU를 지원하여 대규모 AI 및 HPC 응용 프로그램을 가능하게합니다 [1] [2] [4].
Sharp와의 집단 운영
각 NVLINK 스위치에는 NVIDIA의 확장 가능한 계층 적 집계 및 감소 프로토콜 (SHART)을위한 엔진이 포함되어있어 네트워크 내 감소 및 멀티 캐스트 작업을 가속화합니다. 이는 AI 및 HPC 환경의 고속 집단 작업에 필수적이며, 대형 데이터 세트 및 복잡한 모델을 효율적으로 처리 할 수 있습니다 [2] [4].
응용 프로그램 및 혜택
NVLINK 5.0은 1 조 파라미터 AI 모델 및 Exascale 컴퓨팅 응용 프로그램의 개발 및 배포를 지원하도록 설계되었습니다. GPU간에 고속의 효율적인 통신을 제공함으로써 복잡한 계산 작업에 중요한 데이터 교환 및 처리가 더 빠릅니다. 이 기술은 NVIDIA의 데이터 센터 솔루션에 필수적이며 AI 및 HPC 플랫폼에 전례없는 확장 성과 성능을 제공합니다 [1] [2] [4].
인용 :
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
[6] https://massedcompute.com/faq-answers/?question=how+does+nvlink+ handle+data+transfer+betwengpus+in+aa +system+Withlultiple+gpus%3f
[7] https://www.amax.com/unleashing-next-level-gpu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975