NVLINK 스위치 칩은 고속 직접 상호 연결 기술을 제공하여 Blackwell GPU 아키텍처를 사용하여 시스템에서 GPU 통신을 향상시키는 데 중요한 역할을합니다. 이 기술은 전통적인 PCIE 스위치의 한계를 극복하도록 설계되었으며, 이는 종종 대역폭이 낮고 대기 시간이 높아집니다. NVLINK 스위치 칩이 GPU 통신을 향상시키는 방법은 다음과 같습니다.
직접 GPU-to-GPU 커뮤니케이션
-고속 상호 연결 : NVLINK 스위치 칩을 사용하면 PCIE 스위치의 필요성을 우회하여 직접 GPU-to-GPU 통신을 가능하게합니다. 이 직접 연결은 데이터 전송 속도를 크게 증가시키고 대기 시간을 줄여 GPU가보다 효율적으로 협력 할 수있게합니다 [1] [2].- 대역폭 및 확장 성 : Blackwell 아키텍처에 통합 된 5 세대 NVLINK는 GPU 당 초당 최대 1.8 테라 바이트의 대역폭을 제공합니다. 이것은 PCIE Gen5의 대역폭의 14 배 이상이므로 대규모 AI 및 HPC 응용 프로그램에 이상적입니다 [3] [7].
nvswitch 기능
-멀티 GPU 연결 : NVSwitch 칩은 NVLink 인터페이스를 사용하여 여러 GPU를 연결하는 고속 상호 연결 기술 역할을합니다. 최대 64 개의 NVLINK 포트를 지원하여 서버 내 또는 랙 전체의 GPU를 가로 질러 모든 통신을 용이하게합니다 [4] [9].- 날카로운 기능 : NVSWITCH 칩은 NVIDIA의 확장 가능한 계층 적 집계 및 감소 프로토콜 (SHART)을 통합하여 여러 GPU 장치에서 계산 결과를 집계 및 업데이트하여 계산 성능을 향상시킵니다. 이것은 네트워크 패킷을 줄이고 데이터 집계 및 전송을 최적화합니다 [1] [9].
AI 및 HPC의 성능 향상
-AI 및 HPC 응용 프로그램 : NVLINK 및 NVSWITCH 기술의 조합은 AI 워크로드 및 대규모 GPU 배포에서 최적의 성능을 달성하는 데 중요합니다. IP 이더넷 네트워크와 무관하게 GPU-to-GPU 통신을위한 전용 NVLINK 네트워크의 생성을 지원합니다 [1] [4].- Exascale 컴퓨팅 : NVLINK 스위치 칩은 Exascale 컴퓨팅 및 교육에 필수적입니다. 서버 클러스터 내의 모든 GPU에서 빠르고 효율적인 통신을 가능하게하여 대형 데이터 세트를 모델로 공급하고 GPU 간의 빠른 데이터 교환을 용이하게합니다 [3] [7].
요약하면, NVLINK 스위치 칩은 GPU 간의 고속 직접 상호 연결을 제공하고 대규모 GPU 배포를 지원하며 날카로운 기능을 통해 데이터 집계 및 전송을 최적화함으로써 Blackwell GPU 아키텍처에서 GPU 통신을 향상시킵니다. 이 기술은 AI 및 HPC 애플리케이션에서 가속화 된 성능을 달성하기 위해 중추적입니다.
인용 :
[1] https://training.continuumlabs.ai/infrastructure/servers-and-chips/nvlink-switch
[2] https://www.fibermall.com/blog/gpu-pcle-nvlink-nvswitch.htm
[3] https://www.amax.com/fifth-generation-nvidia-nvlink/
[4] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-usecases-ncritical-best-practices/
[5] https://siliconangle.com/2024/08/16/nvlink-nvswitch-nvidias-secret-wepon-ai-wars/
[6] https://www.amax.com/unleashing-next-level-gpu-performance-with-nvidia-nvlink/
[7] https://www.nvidia.com/en-us/data-center/nvlink/
[8] https://blog.spheron.network/nvidias-blackwell-what-need-to- albout-the-next-gpus
[9] https://www.fs.com/blog/fs-anoverview-of-nvidia-nvlink-2899.html