DGX Spark 및 Project Digits와 같은 시스템에 등장한 NVIDIA GB10 SUPERCHIP는 NVIDIA NVLINK-C2C Interconnect 기술을 사용하여 CPU+GPU- 코워 런트 메모리 모델로 설계되었습니다. 이 아키텍처는 기존의 PCIE 인터페이스와 비교하여 메모리 대역폭이 크게 향상되어 5 세대 PCIE의 대역폭의 5 배를 제공합니다 [1] [4]. 그러나 GB10 슈퍼 치프의 정확한 메모리 대역폭은 사용 가능한 정보에 명시 적으로 명시되어 있지 않습니다.
이에 비해 Tensorflow와 함께 일반적으로 사용되는 다른 GPU는 잘 문서화 된 메모리 대역폭을 가지고 있습니다.
-NVIDIA A100 GPU :이 GPU의 메모리 대역폭은 1,555GB/s이며 많은 소비자 등급 GPU보다 상당히 높습니다. A100은 고성능 컴퓨팅 및 딥 러닝 작업을 위해 설계되어 사용 가능한 가장 빠른 옵션 중 하나입니다 [2] [6].
-NVIDIA V100 GPU : 900GB/s의 메모리 대역폭이있는 V100은 딥 러닝 애플리케이션에 사용되는 또 다른 강력한 GPU입니다. A100보다 적지 만 여전히 까다로운 작업에 대한 실질적인 성능을 제공합니다 [2] [6].
-NVIDIA RTX 3090 :이 소비자 등급 GPU의 메모리 대역폭은 약 936.2GB/s이며 소비자 GPU의 경우 높지만 A100 및 V100보다 낮습니다 [3].
-NVIDIA RTX 5090 :이 GPU는 1,792GB/s의 메모리 대역폭을 특징으로하므로 딥 러닝 및 AI 추론과 같은 작업에 사용할 수있는 가장 빠른 소비자 등급 GPU 중 하나입니다 [7].
Tensorflow 애플리케이션의 성능 측면에서 메모리 대역폭은 메모리와 계산 코어간에 데이터를 얼마나 빨리 이동할 수 있는지 결정하므로 중요합니다. GB10 SuperChip의 정확한 메모리 대역폭은 지정되지 않지만 NVLINK-C2C 기술의 사용은 대역폭 응용 프로그램에 최적화되어 있으며, 일관된 메모리 모델로 인해 특정 시나리오에서 A100과 같은 일부 고급 GPU를 능가하는 성능 장점을 제공 할 수 있습니다. 그러나 특정 대역폭 번호가 없으면 직접 비교가 어려워집니다.
GB10 Superchip은 AI 개발을 위해 설계되었으며 통합 된 일관된 메모리를 제공하며, 이는 대규모 AI 모델 교육 및 추론과 같은 CPU와 GPU 간의 원활한 데이터 액세스가 필요한 작업에 특히 유리할 수 있습니다. 이 아키텍처를 통해 클라우드 및 데이터 센터 환경을 포함한 다양한 플랫폼에서 AI 모델을 효율적으로 프로토 타이핑 및 배포 할 수 있습니다 [1] [4].
인용 :
[1] https://nvidianews.nvidia.com/news/nvidia-announces-dgx-spark-and-dgx-pistation-pernal-ai-compupers
[2] https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/
[3] https://stackoverflow.com/questions/67760118/incorrect-memory-bandwidth-when-using-tensorflow
[4] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-ai-ai-developers-fingertips
[5] https://forums.developer.nvidia.com/t/difference-of-momer-usage-at-each-gpu-model-during-tensorflow-cinference/84392
[6] https://www.digitalocean.com/community/tutorials/gpu-memory-bandwidth
[7] https://forums.fast.ai/t/nvidia-project-digits-vs-rtx-5090-dilemma/115883
[8] https://blog.tensorflow.org/2022/01/improved-tensorflow-27-operations-for.html
[9] https://ms.codes/blogs/computer-hardware/tensorflow-cpu-tan-gpu