Superchip NVIDIA GB10, ditampilkan dalam sistem seperti DGX Spark dan Project Digit, dirancang dengan model memori CPU+GPU-koheren menggunakan teknologi interkoneksi NVIDIA NVLINK-C2C. Arsitektur ini memberikan dorongan signifikan dalam bandwidth memori dibandingkan dengan antarmuka PCIe tradisional, menawarkan lima kali bandwidth PCIe generasi kelima [1] [4]. Namun, bandwidth memori yang tepat dari superchip GB10 tidak secara eksplisit dinyatakan dalam informasi yang tersedia.
Sebagai perbandingan, GPU lain yang biasa digunakan dengan TensorFlow memiliki bandwidth memori yang terdokumentasi dengan baik:
- NVIDIA A100 GPU: GPU ini memiliki bandwidth memori 1.555 GB/s, yang secara signifikan lebih tinggi daripada banyak GPU kelas konsumen. A100 dirancang untuk komputasi berkinerja tinggi dan tugas-tugas pembelajaran mendalam, menjadikannya salah satu opsi tercepat yang tersedia [2] [6].
- NVIDIA V100 GPU: Dengan bandwidth memori 900 GB/s, V100 adalah GPU kuat lain yang digunakan dalam aplikasi pembelajaran yang mendalam. Ini kurang dari A100 tetapi masih menawarkan kinerja substansial untuk tugas yang menuntut [2] [6].
- NVIDIA RTX 3090: GPU kelas konsumen ini memiliki bandwidth memori sekitar 936,2 GB/s, yang tinggi untuk GPU konsumen tetapi lebih rendah dari A100 dan V100 [3].
- NVIDIA RTX 5090: GPU ini memiliki bandwidth memori 1.792 GB/s, menjadikannya salah satu GPU kelas konsumen tercepat yang tersedia untuk tugas-tugas seperti Deep Learning dan AI Inference [7].
Dalam hal kinerja untuk aplikasi TensorFlow, bandwidth memori sangat penting karena menentukan seberapa cepat data dapat dipindahkan antara inti memori dan komputasi. Sementara bandwidth memori GB10 SuperChip tidak ditentukan, penggunaan teknologi NVLink-C2C menunjukkan bahwa ia dioptimalkan untuk aplikasi bandwidth tinggi, berpotensi menawarkan keunggulan kinerja yang mirip dengan atau melampaui beberapa GPU kelas atas seperti A100 dalam skenario tertentu karena model memori koherennya. Namun, tanpa angka bandwidth spesifik, perbandingan langsung menantang.
Superchip GB10 dirancang untuk pengembangan AI dan menawarkan memori yang bersatu dan koheren, yang dapat sangat bermanfaat untuk tugas-tugas yang membutuhkan akses data yang mulus antara CPU dan GPU, seperti pelatihan model dan inferensi model AI skala besar. Arsitektur ini memungkinkan pembuatan prototipe dan penyebaran model AI yang efisien di berbagai platform, termasuk lingkungan cloud dan pusat data [1] [4].
Kutipan:
[1] https://nvidianews.nvidia.com/news/nvidia-announces-dgx-spark-and-dgx-station-personal-ai-computers
[2] https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/
[3] https://stackoverflow.com/questions/67760118/incorrect-memory-bandwidth-when-using-tensorflow
[4] https://nvidianews.nvidia.com/news/nvidia-puts-bace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
[5] https://forums.developer.nvidia.com/t/difference-of-memory-usage-at-heach-gpu-model-during-tensorflow-c-nference/84392
[6] https://www.digitalocean.com/community/tutorials/gpu-memory-bandwidth
[7] https://forums.fast.ai/t/nvidia-project-digits-vs-rtx-5090-lemma/115883
[8] https://blog.tensorflow.org/2022/01/improved-tensorflow-27-operations-for.html
[9] https://ms.codes/blogs/computer-hardware/tensorflow-cpu-faster-than-gpu