NVLINK-C2C는 NVIDIA가 개발 한 고속 상호 연결 기술로 주로 Grace Hopper Superchip 아키텍처에 등장합니다. DGX 스테이션은 NVLINK-C2C를 구체적으로 사용하지는 않지만 NVLINK-C2C가 메모리 대역폭을 향상시키는 방법을 이해하면 유사한 시스템의 잠재적 이점에 대한 통찰력을 제공 할 수 있습니다.
NVLINK-C2C의 주요 기능
1. 높은 대역폭 : NVLINK-C2C는 최대 900GB/s의 양방향 대역폭을 제공하여 기존 PCIE 연결을 크게 능가합니다. 예를 들어, PCIE GEN5 X16 링크는 각 방향으로 약 128GB/s의 최대 대역폭을 제공합니다 [2] [7]. 이 높은 대역폭을 사용하면 CPU와 GPU 간의 데이터 전송이 더 빨라질 수 있으며, 이는 대규모 데이터 세트가 필요한 응용 프로그램에 중요합니다.
2. 통합 메모리 풀 : NVLINK-C2C는 GPU HBM 및 CPU DRAM을 결합하여 통합 메모리 풀을 만듭니다. 이를 통해 GPU는 마치 로컬 대역폭 메모리 인 것처럼 CPU 메모리에 액세스 할 수 있으며 대형 모델 또는 데이터 세트에 사용 가능한 메모리 공간을 효과적으로 확장 할 수 있습니다 [4] [7]. 이 기능은 특히 GPU 메모리 한계를 초과하는 AI 및 HPC 응용 프로그램에 특히 유리합니다.
3. 메모리 일관성 : NVLINK-C2C는 하드웨어 메모리 일관성을 지원하여 CPU 및 GPU 메모리 공간에서 데이터 일관성을 보장합니다. 이것은 명시 적 메모리 관리의 필요성을 제거하여 프로그래밍 모델을 단순화하여 개발자가 메모리 처리보다는 알고리즘에 집중할 수있게합니다 [1] [6].
4. 낮은 대기 시간 : NVLINK-C2C를 통한 CPU와 GPU 간의 직접 패키지 연결은 통신 지연을 크게 줄입니다. 대기 시간은 PCIE GEN5 연결의 경우 약 400-600 나노초에 비해 20 나노초 미만으로 감소됩니다 [4]. 이러한 대기 시간 감소는 빈번한 CPU-GPU 통신이 필요한 응용 프로그램의 효율성을 향상시킵니다.
DGX 스테이션에 대한 잠재적 영향
DGX 스테이션은 NVLINK-C2C를 사용하지 않지만 이러한 기술을 통합하면 성능을 크게 향상시킬 수 있습니다. DGX 스테이션은 현재 GPU 간의 NVLink 연결을 사용하는데, 이는 PCIE보다 높은 대역폭을 제공하지만 NVLINK-C2C만큼 고급되지는 않습니다. NVLINK-C2C를 통합 할 수 있습니다.
-메모리 대역폭 증가 : Unified Memory Pool과 대역폭 액세스를 제공함으로써 NVLINK-C2C는 DGX 스테이션의 대형 데이터 세트 및 복잡한 AI 모델을 처리하는 능력을 향상시킬 수 있습니다.
-대기 시간 감소 : 대기 시간이 낮아지면 실시간 데이터 처리 및 AI 추론과 같은 CPU-GPU 조정이 필요한 응용 프로그램의 효율성이 향상됩니다.
-확장 성 향상 : NVLINK-C2C의 대규모 메모리 액세스를 지원하는 능력은 DGX 스테이션이 여러 GPU 및 CPU에서보다 효율적으로 확장하여 분산 컴퓨팅 환경에 도움이 될 수 있습니다.
요약하면, NVLINK-C2C는 현재 DGX 스테이션의 일부가 아니지만 기능은 미래 시스템에 통합되면 메모리 대역폭을 향상시키고 대기 시간을 줄이며 확장 성을 향상시킬 수 있습니다.
인용 :
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-nepth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and- evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu---interconnect-nvlink-c2c fofaster-activity-7194444161451442176-ucrf
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-usecases-ncritical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-in-hopper-not-simple/