NVLINK 스위치 ASIC은 멀티 GPU 시스템에 대한 대역폭의 저도 상호 연결 솔루션을 제공함으로써 NVLINK 5.0의 성능을 향상시키는 데 중추적 인 역할을합니다. 성능 향상에 기여하는 방법은 다음과 같습니다.
향상된 대역폭 및 확장 성
- 고속 상호 연결 : NVLINK 5.0은 GPU 당 1.8TB/S의 양방향 대역폭을 제공하며 각 GPU는 링크 당 100GB/s에서 최대 18 개의 NVLINK 연결을 지원합니다 [1] [2]. NVLINK 스위치 ASIC은 여러 GPU 및 노드에서 이러한 연결을 확장하여 랙 내 및 랙 간의 원활한 통신을 가능하게합니다. 이 설정은 최대 576 개의 완전히 연결된 GPU를 지원하여 대형 AI 모델을 효율적으로 처리 할 수있는 대규모 컴퓨팅 패브릭을 만듭니다 [1] [2].
- 확장 성 : NVLINK 스위치를 통해 GB200 NVL72와 같은 서버 플랫폼은 GPU 통신을 크게 확장하여 기존 8GPU 시스템보다 최대 9 배 더 많은 GPU를 지원할 수 있습니다. 이 확장 성은 GPU 간의 빠른 데이터 교환이 필수적 인 다중 28 개 매개 변수 모델을 훈련시키는 데 중요합니다 [1] [2].
낮은 대기 시간 및 효율적인 데이터 전송
-직접 GPU-to-GPU 통신 : NVLINK는 기존의 CPU 할당 및 스케줄링 메커니즘을 우회하여 GPU 간의 직접 데이터 교환을 허용합니다. 이 설계는 데이터 전송 대기 시간을 줄이고 전체 시스템 처리량을 향상시킵니다 [4].
- 날카로운 프로토콜 통합 : 각 NVLINK 스위치에는 NVIDIA의 확장 가능한 계층 적 집계 및 감소 프로토콜 (SHARP)을위한 엔진이 포함되어 있습니다. Sharp는 AI 및 HPC 응용 프로그램의 고속 집단 작업에 중요한 네트워크 감소 및 멀티 캐스트 작업을 가속화합니다 [1] [2].
통합 메모리 풀링 및 단순화 된 프로그래밍
- 통합 메모리 : NVLINK를 사용하면 GPU를 가로 질러 통합 메모리 풀을 생성하여 메모리를 원활하게 공유 할 수 있습니다. 이 기능은 특히 대규모 모델 또는 데이터 세트에 유리합니다. 이는 이산 메모리 풀 사이의 명시 적 데이터 전송이 필요하지 않아 복잡성과 오버 헤드가 줄어 듭니다 [6].
- 단순화 된 프로그래밍 모델 : GPU 간의 직접적인 대역폭 연결을 제공하여 NVLINK는 프로그래밍 모델을 단순화합니다. 개발자는 GPU 간의 데이터 전송의 복잡성에 대해 걱정하지 않고 응용 프로그램을 최적화하는 데 집중할 수 있습니다 [6].
전력 효율성 및 와트 당 성능
- 개선 된 전력 효율성 : NVLINK의 최적화 된 데이터 전송 및 감소 된 대기 시간은 기존 PCIE 기반 시스템에 비해 WATT 당 더 나은 성능에 기여합니다. 이 효율성은 에너지 소비가 중대한 관심사 인 대규모 AI 및 HPC 배포에 중요합니다 [6].
요약하면, NVLINK 스위치 ASIC은 높은 대역폭, 낮은 긴장 연결, 다중 GPU 시스템을 효율적으로 스케일링하고 최적화 된 데이터 처리를 위해 Sharp와 같은 고급 프로토콜을 통합하여 NVLINK 5.0 성능을 향상시킵니다. 이러한 기능은 NVLink가 고성능 컴퓨팅 및 AI 응용 프로그램의 초석입니다.
인용 :
[1] https://www.nvidia.com/en-us/data-center/nvlink/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/what-is-nvidia-nvlink.htm
[4] https://www.fibermall.com/blog/analysis-nv-switch.htm
[5] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-usecases-ncritical-best-practices/
[7] https://www.fs.com/blog/fs-anoverview-of-nvidia-nvlink-2899.html
[8] https://massedcompute.com/faq-answers/?question=how+does+pcie+55.0+ compare+ to +nvlink+in+ terms+nvidia+gpufuforformance%3f