NVLink-C2C adalah teknologi interkoneksi berkecepatan tinggi yang dikembangkan oleh NVIDIA, terutama ditampilkan dalam arsitektur Grace Hopper Superchip mereka. Sementara stasiun DGX tidak secara khusus memanfaatkan NVLink-C2C, memahami bagaimana NVLink-C2C meningkatkan bandwidth memori dapat memberikan wawasan tentang manfaat potensial untuk sistem yang sama.
Fitur utama NVLink-C2C
1. Bandwidth Tinggi: NVLink-C2C menawarkan bandwidth dua arah hingga 900 GB/s, secara signifikan melampaui koneksi PCIe tradisional. Misalnya, tautan PCIe Gen5 X16 menyediakan bandwidth maksimum sekitar 128 GB/s di setiap arah [2] [7]. Bandwidth tinggi ini memungkinkan transfer data yang lebih cepat antara CPU dan GPU, yang sangat penting untuk aplikasi yang membutuhkan set data besar.
2. Pool memori terpadu: NVLink-C2C membuat kumpulan memori terpadu dengan menggabungkan GPU HBM dan CPU DRAM. Hal ini memungkinkan GPU untuk mengakses memori CPU hampir seolah-olah itu adalah memori bandwidth tinggi lokal, secara efektif memperluas ruang memori yang tersedia untuk model atau dataset besar [4] [7]. Fitur ini sangat bermanfaat untuk aplikasi AI dan HPC yang sering melebihi batas memori GPU.
3. Koherensi Memori: NVLink-C2C mendukung koherensi memori perangkat keras, memastikan konsistensi data di seluruh ruang memori CPU dan GPU. Ini menyederhanakan model pemrograman dengan menghilangkan kebutuhan untuk manajemen memori eksplisit, memungkinkan pengembang untuk fokus pada algoritma daripada penanganan memori [1] [6].
4. Latensi Rendah: Koneksi langsung, paket antara CPU dan GPU melalui NVLink-C2C secara signifikan mengurangi keterlambatan komunikasi. Latensi dikurangi menjadi kurang dari 20 nanodetik, dibandingkan dengan sekitar 400-600 nanodetik untuk koneksi PCIe Gen5 [4]. Pengurangan latensi ini meningkatkan efisiensi aplikasi yang membutuhkan komunikasi CPU-GPU yang sering.
Dampak potensial pada stasiun DGX
Sementara stasiun DGX tidak menggunakan NVLink-C2C, menggabungkan teknologi tersebut dapat secara signifikan meningkatkan kinerjanya. Stasiun DGX saat ini menggunakan koneksi NVLink antara GPU, yang memberikan bandwidth lebih tinggi daripada PCIe tetapi tidak secepat NVLink-C2C. Mengintegrasikan NVLink-C2C bisa:
-Tingkatkan Bandwidth Memori: Dengan menyediakan kumpulan memori terpadu dan akses bandwidth tinggi, NVLink-C2C dapat meningkatkan kemampuan stasiun DGX untuk menangani kumpulan data besar dan model AI yang kompleks.
-Mengurangi latensi: Latensi yang lebih rendah akan meningkatkan efisiensi aplikasi yang membutuhkan koordinasi CPU-GPU yang ketat, seperti pemrosesan data waktu-nyata dan inferensi AI.
-Tingkatkan skalabilitas: Kemampuan NVLink-C2C untuk mendukung akses memori skala besar dapat memungkinkan stasiun DGX untuk skala lebih efisien di beberapa GPU dan CPU, menguntungkan lingkungan komputasi terdistribusi.
Singkatnya, sementara NVLink-C2C saat ini tidak menjadi bagian dari stasiun DGX, fitur-fiturnya berpotensi meningkatkan bandwidth memori, mengurangi latensi, dan meningkatkan skalabilitas jika diintegrasikan ke dalam sistem masa depan.
Kutipan:
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-lepth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nvlink-c2c-faster-activity-7194448161451442176-UCRF
[6] https://www.atlantic.net/gpu-server-hostting/nvidia-nvlink-how-it-works-use-cases-and-critical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-speed-in-hopper-so-so-simple/