NVLINK-C2C 기술은 GPU와 CPU간에 대역폭의 낮은 격렬성 상호 연결을 제공하여 DGX Spark와 같은 시스템의 메모리 대역폭을 향상시키는 데 중요한 역할을합니다. 이 기술은 특히 AI 및 고성능 컴퓨팅 (HPC) 워크로드와 같은 이러한 구성 요소 간의 자주 통신이 필요한 시스템에서 유리합니다.
키 개선
1. 높은 대역폭 : NVLINK-C2C는 900GB/s의 최대 대역폭을 제공하며 이는 기존 PCIE 연결보다 상당히 높습니다. 예를 들어, PCIE Gen4는 64GB/s 양방향 대역폭 만 제공하는 반면 NVLINK-C2C는 이에 비해 14 배 증가를 달성합니다 [1]. 이 높은 대역폭을 사용하면 GPU와 CPU 간의 빠른 데이터 전송이 가능하며, 이는 GPU의 메모리 용량을 초과하는 대형 AI 모델 또는 데이터 세트에 필수적입니다.
2. 낮은 대기 시간 : NVLINK-C2C의 대기 시간은 PCIE 기반 연결에 비해 극적으로 감소됩니다. PCIE Gen5를 사용하는 H100 GPU는 CPU-to-GPU 메모리 액세스에 대해 약 400-600 나노초의 대기 시간을 가지지 만 NVLINK-C2C는이를 20 나노 초 미만으로 줄여서 대략 95-97%의 대기 시간 감소를 달성합니다 [1]. 이 낮은 대기 시간은 엄격한 CPU-GPU 조정 및 빠른 데이터 전송이 필요한 작업에 중요합니다.
3. Unified Memory Pool : NVLINK-C2C를 사용하면 GPU가 CPU 메모리에 직접 액세스 할 수있게하여 Unified Memory Pool을 생성 할 수 있습니다. 이는 GPU가 추가 로컬 고 대역폭 메모리 인 것처럼 CPU DRAM을 활용하여 기존의 GPU 메모리 용량 제약 조건을 효과적으로 제거 할 수 있음을 의미합니다 [1] [2]. 이 기능은 특히 GPU에서 사용할 수있는 것보다 더 많은 메모리가 필요한 대형 AI 모델 또는 데이터 세트에 유리합니다.
4. 메모리 일관성 : NVLINK-C2C는 메모리 일관성을 지원하여 CPU 및 GPU 메모리에서 데이터가 일관되게 보장합니다. 이를 통해 효율적인 동기화 프리미티브가 가능하고 개발자의 명시 적 메모리 관리의 필요성을 줄입니다 [2]. 메모리 일관성은 또한 GPU 및 CPU 스레드에 대한 경량 동기화를 가능하게하여 전체 시스템 활용을 향상시킵니다.
5. 확장 성 및 전력 효율성 : NVLINK-C2C는 효율적인 멀티 GPU 설정을 가능하게하여 확장 성을 지원하며 전력 소비를 최소화하기 위해 고급 신호 기술을 사용하여 전력 효율적으로 설계되었습니다 [3] [4]. 이로 인해 성능과 에너지 효율이 중요한 대규모 컴퓨팅 환경에 적합합니다.
요약하면, DGX Spark와 같은 시스템의 NVLINK-C2C 기술은 GPU와 CPU 사이의 고속 저도 통신을 제공함으로써 메모리 대역폭을 크게 향상시킵니다. 이를 통해 통합 메모리 풀을 작성하고 명시 적 메모리 관리의 필요성을 줄임으로써 대형 데이터 세트 및 AI 워크로드를보다 효율적으로 처리 할 수 있습니다.
인용 :
[1] https://www.supercluster.blog/p/nvidia-gpu-architecture and-evolution
[2] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-mepth/
[3] https://www.fibermall.com/blog/dgx-gh200.htm
[4] https://convergedigest.com/think-of-nvidia-blackwell-as-a-platform/
[5] https://www.reddit.com/r/localllama/comments/1hvlbow/to_understand_the_project_digits_desktop_128_gb/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-usecases-ncritical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.naddod.com/blog/the-high-peed-road-of-gpus
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-in-hopper-not-simple/
[10] https://www.amax.com/content/files/2023/12/nvidia_grace_cpu_superchip_enhanced_computing_whitepaper.pdf