„NVLINK-C2C“ yra „NVIDIA“ sukurta didelės spartos sujungimo technologija, pirmiausia rodoma jų „Grace Hopper Superchip“ architektūroje. Nors DGX stotis konkrečiai nenaudoja „NVLINK-C2C“, supratimas, kaip „NVLINK-C2C“ padidina atminties pralaidumą, gali suteikti įžvalgos apie galimą panašių sistemų naudą.
pagrindinės „NVLINK-C2C“ savybės
1. Didelis pralaidumas: „NVLINK-C2C“ siūlo dvikryptį pralaidumą iki 900 GB/s, žymiai pranokdamas tradicines PCIE jungtis. Pavyzdžiui, PCIE GEN5 X16 jungtis suteikia maksimalų pralaidumą - apie 128 GB/s kiekviena kryptimi [2] [7]. Šis didelis pralaidumas leidžia greičiau perduoti duomenis tarp CPU ir GPU, kuris yra labai svarbus programoms, reikalaujančioms didelių duomenų rinkinių.
2. Vieninga atminties fondas: „NVLINK-C2C“ sukuria vieningą atminties fondą, derinant GPU HBM ir CPU DRAM. Tai leidžia GPU pasiekti CPU atmintį beveik taip, lyg ji būtų vietinė aukšto lygio atmintis, efektyviai išplėsti turimą atminties erdvę dideliems modeliams ar duomenų rinkiniams [4] [7]. Ši funkcija yra ypač naudinga AI ir HPC programoms, kurios dažnai viršija GPU atminties ribas.
3. Atminties nuoseklumas: „NVLINK-C2C“ palaiko aparatinės įrangos atminties suderinimą, užtikrinant duomenų nuoseklumą CPU ir GPU atminties erdvėse. Tai supaprastina programavimo modelius, pašalinant poreikį aiškiai valdyti atminties valdymą, leidžiant kūrėjams sutelkti dėmesį į algoritmus, o ne tvarkyti atminties [1] [6].
4. Mažas latentinis potraukis: tiesioginis, pakuotės ryšys tarp CPU ir GPU per „NVLINK-C2C“ žymiai sumažina komunikacijos vėlavimą. Latentinis potraukis sumažinamas iki mažiau nei 20 nanosekundžių, palyginti su maždaug 400–600 nanosekundžių, skirtų PCIE GEN5 jungtims [4]. Šis latencijos sumažėjimas padidina programų, kurioms reikalingas dažnai komunikacijos CPU-GPU, efektyvumą.
Potencialus poveikis DGX stotimi
Nors DGX stotis nenaudoja „NVLINK-C2C“, tokios technologijos įtraukimas galėtų žymiai padidinti jos našumą. Šiuo metu „DGX“ stotyje naudojamos NVLINK jungtys tarp GPU, kurie suteikia didesnį pralaidumą nei PCIE, tačiau nėra tokios patobulintos kaip „NVLINK-C2C“. „NVLINK-C2C“ integravimas galėtų:
-Padidinkite atminties pralaidumą: pateikdamas vieningą atminties fondą ir prieigą prie aukšto lygio, „NVLINK-C2C“ galėtų pagerinti DGX stoties galimybes tvarkyti didelius duomenų rinkinius ir sudėtingus AI modelius.
-Sumažinkite latenciją: mažesnis latentinis potraukis pagerintų programų, kurioms reikalingas griežtas CPU-GPU koordinavimas, efektyvumą, pavyzdžiui, duomenų apdorojimo realiojo laiko ir AI išvados.
-Pagerinkite mastelio keitimą: „NVLINK-C2C“ galimybė palaikyti didelio masto atminties prieigą galėtų suteikti DGX stotį efektyviau mastelio keitimą keliuose GPU ir CPU, naudodamiesi paskirstyta skaičiavimo aplinka.
Apibendrinant galima pasakyti, kad nors „NVLINK-C2C“ šiuo metu nėra DGX stoties dalis, jos savybės gali padidinti atminties pralaidumą, sumažinti latenciją ir pagerinti mastelį, jei jos bus integruotos į būsimas sistemas.
Citatos:
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architcture-in-depth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-tation-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architcture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nlink-c2c greitkeliniai-activity-7194448161451442176-Ucrf
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nlink-how-it-works-use-cess-and-critical-best-praktices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-spartos-in-hopper-not-so-psple/