NVLink 5.0 adalah iterasi terbaru Nvidia dari teknologi interkoneksi ultra-tinggi, yang dirancang untuk meningkatkan komunikasi langsung antara beberapa GPU dalam suatu sistem. Teknologi ini sangat penting untuk beban kerja intensif GPU seperti pelatihan AI dan komputasi kinerja tinggi. Begini cara NVLink 5.0 menangani transfer data antara beberapa GPU:
Arsitektur dan bandwidth
NVLink 5.0 dibangun untuk arsitektur Blackwell dan menawarkan peningkatan bandwidth yang signifikan dibandingkan dengan pendahulunya. Setiap GPU Blackwell mendukung hingga 18 koneksi NVLink, dengan masing -masing tautan menyediakan bandwidth dua arah 100 gb/s. Ini menghasilkan bandwidth total 1,8 tb/s per GPU, yang dua kali lipat dari generasi sebelumnya dan lebih dari 14 kali bandwidth PCIe Gen5 [1] [2] [4].
Komunikasi GPU-ke-GPU Langsung
NVLink memungkinkan komunikasi langsung antara GPU tanpa perlu perantara CPU, mengurangi latensi dan memaksimalkan kinerja. Arsitektur koneksi point-to-point ini memastikan bahwa setiap GPU memiliki tautan khusus ke setiap GPU lainnya, yang memungkinkan transfer data yang cepat tanpa berbagi bandwidth [7].
sakelar nvlink untuk skalabilitas
Chip NVLink Switch memainkan peran penting dalam menskalakan koneksi NVLink di beberapa GPU, baik di dalam maupun di antara rak server. Ini memfasilitasi komunikasi GPU semua-ke-semua dengan kecepatan NVLink penuh, secara efektif mengubah pusat data menjadi GPU raksasa. Pengaturan ini mendukung hingga 576 GPU yang terhubung sepenuhnya dalam kain komputasi non-blocking, memungkinkan aplikasi AI dan HPC skala besar [1] [2] [4].
Operasi kolektif dengan Sharp
Setiap sakelar NVLink mencakup mesin untuk agregasi dan reduksi hierarki nvidia yang dapat diskalakan dan protokol reduksi (Sharp), yang mempercepat pengurangan dalam jaringan dan operasi multicast. Ini sangat penting untuk tugas-tugas kolektif berkecepatan tinggi di lingkungan AI dan HPC, memungkinkan pemrosesan kumpulan data besar dan model kompleks yang efisien [2] [4].
aplikasi dan manfaat
NVLink 5.0 dirancang untuk mendukung pengembangan dan penyebaran model AI triliun-parameter dan aplikasi komputasi exascale. Dengan memberikan komunikasi berkecepatan tinggi dan efisien antara GPU, ini memungkinkan pertukaran dan pemrosesan data yang lebih cepat, yang sangat penting untuk tugas komputasi yang kompleks. Teknologi ini merupakan bagian integral dari solusi pusat data NVIDIA, menawarkan skalabilitas dan kinerja yang belum pernah terjadi sebelumnya untuk platform AI dan HPC [1] [2] [4].
Kutipan:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-oveview-of-nvidia-nvlink-2899.html
[6] https://massedcompute.com/faq-answers/?question=how+does+nvlink+handle+Data+Transfer+between+gpus+in+a+system+with+multiple+gpus%3f
[7] https://www.amax.com/unleashing-next-level-pu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975