Kā NVLink 5.0 apstrādā datu pārsūtīšanu starp vairākiem GPU

arhitektūra un joslas platums

NVLink 5.0 ir veidots Blackwell arhitektūrai un piedāvā ievērojamu joslas platuma palielināšanos, salīdzinot ar tās priekšgājējiem. Katrs Blackwell GPU atbalsta līdz 18 NVLink savienojumiem, un katra saite nodrošina divvirzienu joslas platumu 100 GB/s. Tā rezultātā kopējais joslas platums ir 1,8 TB/s uz GPU, kas ir divreiz pārsniedzis iepriekšējās paaudzes un vairāk nekā 14 reizes pārsniedz PCIe Gen5 joslas platumu [1] [2] [4].

Tiešā GPU-GPU komunikācija

NVLINK ļauj tiešai saziņai starp GPU, neprasot CPU starpnieku, samazinot latentumu un maksimizējot veiktspēju. Šī savienojuma arhitektūra no punkta uz punktu nodrošina, ka katram GPU ir speciāla saite uz visiem citiem GPU, ļaujot ātri pārskaitīt datu pārsūtīšanu bez joslas platuma koplietošanas [7].

nvlink slēdzis mērogojamībai

NVLink slēdža mikroshēmai ir kritiska loma NVLink savienojumu mērogā vairākos GPU gan servera plauktu, gan starp tiem. Tas atvieglo visu GPU komunikāciju ar pilnu NVLink ātrumu, efektīvi pārvēršot datu centru par milzu GPU. Šī iestatīšana atbalsta līdz 576 pilnībā savienotiem GPU, kas nav bloķējoša aprēķina audumā, nodrošinot liela mēroga AI un HPC lietojumprogrammas [1] [2] [4].

Kolektīvās operācijas ar asu

Katrā NVLink slēdžā ietilpst dzinēji NVIDIA mērogojamajam hierarhiskajai agregācijas un reducēšanas protokolam (Sharp), kas paātrina tīkla samazinājumu un multiraides operācijas. Tas ir svarīgi ātrgaitas kolektīviem uzdevumiem AI un HPC vidē, ļaujot efektīvi apstrādāt lielas datu kopas un sarežģītus modeļus [2] [4].

lietojumprogrammas un priekšrocības

NVLink 5.0 ir paredzēts, lai atbalstītu triljonu parametru AI modeļu un eksaskālas skaitļošanas lietojumprogrammu izstrādi un izvietošanu. Nodrošinot ātrgaitas, efektīvu saziņu starp GPU, tā ļauj ātrāk apmaiņu un apstrādi, kas ir kritiska sarežģītiem skaitļošanas uzdevumiem. Šī tehnoloģija ir neatņemama NVIDIA datu centra risinājumiem, piedāvājot nepieredzētu mērogojamību un veiktspēju AI un HPC platformām [1] [2] [4].

Atsauces:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
.
[7] https://www.amax.com/unleashing-next-level-lvel-gpu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-nonnecting-4-gpus/253975