NVLink 5.0 je najnovšou iteráciou svojej technológie Interconnect Technology NVIDIA, ktorá je určená na zlepšenie priamej komunikácie medzi viacerými GPU v systéme. Táto technológia je obzvlášť dôležitá pre pracovné zaťaženie náročné na GPU, ako je školenie AI a vysokovýkonné výpočty. Tu je spôsob, akým NVLink 5.0 spracováva prenos údajov medzi viacerými GPU:
architektúra a šírka pásma
NVLink 5.0 je postavený pre architektúru Blackwell a ponúka výrazné zvýšenie šírky pásma v porovnaní s jej predchodcami. Každý GPU Blackwell podporuje až 18 pripojení NVLink, pričom každý odkaz poskytuje obojsmernú šírku pásma 100 GB/s. To má za následok celkovú šírku pásma 1,8 TB/s na GPU, čo je dvojnásobok šírky predchádzajúcej generácie a viac ako 14 -násobok šírky pásma PCIe Gen5 [1] [2] [4].
Direct GPU-to-GPU Komunikácia
NVLink umožňuje priamu komunikáciu medzi GPU bez potreby sprostredkovateľa CPU, znižuje latenciu a maximalizuje výkon. Táto architektúra pripojenia point-to-point zaisťuje, že každý GPU má vyhradený odkaz na všetky ostatné GPU, čo umožňuje rýchle prenosy údajov bez zdieľania šírky pásma [7].
nvlink prepínač pre škálovateľnosť
Chip NVLink Switch hrá rozhodujúcu úlohu pri škálovaní pripojení NVLink na viacerých GPU, a to v rámci aj medzi stojanmi na servery. Uľahčuje komunikáciu všetkých GPU pri úplnej rýchlosti NVLink a efektívne premieňa dátové centrum na obrovský GPU. Toto nastavenie podporuje až 576 plne pripojené GPU v neblokujúcej výpočtovej tkanine, ktorá umožňuje rozsiahle aplikácie AI a HPC [1] [2] [4].
kolektívne operácie s ostrými
Každý prepínač NVLink obsahuje motory pre škálovateľnú hierarchickú agregáciu a redukciu protokolu NVIDIA (SHARP), ktorý urýchľuje zníženie siete a multicastové operácie. Je to nevyhnutné pre vysokorýchlostné kolektívne úlohy v prostrediach AI a HPC, čo umožňuje efektívne spracovanie veľkých súborov údajov a komplexných modelov [2] [4].
Aplikácie a výhody
NVLink 5.0 je navrhnutý tak, aby podporoval vývoj a nasadenie modelov AI biliónovo-parametrov a aplikácií na výpočty exascale. Poskytnutím vysokorýchlostnej a efektívnej komunikácie medzi GPU umožňuje rýchlejšiu výmenu a spracovanie údajov, čo je rozhodujúce pre zložité výpočtové úlohy. Táto technológia je neoddeliteľnou súčasťou riešení dátových centier spoločnosti NVIDIA, ktorá ponúka bezprecedentnú škálovateľnosť a výkon pre platformy AI a HPC [1] [2] [4].
Citácie:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-acceleration-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvvlink/
[3] https://www.fiberall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-ederview-of-nvidia-nvlink-2899.html
Https://massedcompute.com/faq-answers/?question=how+does+nvlink+handle+Data+Transfer+Between+-gpus+in+a+System++With+Multiple+Gpus%3f
[7] https://www.amax.com/unleashing-next-level-gpu-Performance-with-pith-pith-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975