NVLINK-C2C je tehnologija med hitrimi povezavami, ki jo je razvila NVIDIA, ki je bila predstavljena predvsem v njihovi arhitekturi Grace Hopper Superchip. Medtem ko postaja DGX ne uporablja posebej NVLINK-C2C, lahko razumevanje, kako NVLink-C2C povečuje pasovno širino pomnilnika, lahko omogoči vpogled v potencialne koristi za podobne sisteme.
Ključne funkcije NVLink-C2C
1. visoka pasovna širina: NVLink-C2C ponuja dvosmerno pasovno širino do 900 GB/s, kar znatno presega tradicionalne povezave PCIe. Na primer, povezava PCIe Gen5 X16 zagotavlja največjo pasovno širino približno 128 GB/s v vsaki smeri [2] [7]. Ta visoka pasovna širina omogoča hitrejši prenos podatkov med CPU in GPU, kar je ključnega pomena za aplikacije, ki zahtevajo velike nabore podatkov.
2. Poenoten pomnilniški bazen: NVLink-C2C ustvari enoten pomnilniški bazen s kombiniranjem GPU HBM in CPU DRAM. To GPU omogoča dostop do pomnilnika CPU-ja skoraj tako, kot da bi bil lokalni pomnilnik z visoko pasovno širino, kar učinkovito razširi razpoložljivi pomnilniški prostor za velike modele ali nabore podatkov [4] [7]. Ta funkcija je še posebej koristna za aplikacije AI in HPC, ki pogosto presegajo meje pomnilnika GPU -ja.
3. Koherenca pomnilnika: NVLINK-C2C podpira skladnost pomnilnika strojne opreme in zagotavlja skladnost podatkov v pomnilniških prostorih CPU in GPU. To poenostavi programske modele z odpravljanjem potrebe po izrecnem upravljanju pomnilnika, kar razvijalcem omogoča, da se osredotočijo na algoritme in ne na ravnanje s pomnilnikom [1] [6].
4. Nizka zamuda: neposredna povezava na pakiranju med CPU in GPU prek NVLink-C2C znatno zmanjša zamude komunikacije. Zakasnitev se zmanjša na manj kot 20 nanosekund v primerjavi s približno 400-600 nanosekund za povezave PCIe Gen5 [4]. To zmanjšanje zamude povečuje učinkovitost aplikacij, ki zahtevajo pogosto komunikacijo CPU-GPU.
Potencialni vpliv na postajo DGX
Medtem ko postaja DGX ne uporablja NVLINK-C2C, bi lahko vključitev takšne tehnologije znatno povečala njegovo delovanje. Postaja DGX trenutno uporablja povezave NVLink med GPU-ji, ki zagotavljajo večjo pasovno širino kot PCIe, vendar niso tako napredni kot NVLINK-C2C. Vključevanje NVLink-C2C bi lahko:
-Povečajte pasovno širino pomnilnika: Z zagotavljanjem enotnega pomnilniškega bazena in dostopa do visoke pasovne širine bi lahko NVLink-C2C izboljšala sposobnost postaje DGX za ravnanje z velikimi nabori in zapletenimi modeli AI.
-Zmanjšajte zamude: Nižja zamuda bi izboljšala učinkovitost aplikacij, ki zahtevajo tesno koordinacijo CPU-GPU, kot sta obdelava podatkov v realnem času in AI sklepanje.
-Izboljšajte razširljivost: Sposobnost NVLink-C2C za podporo obsežnega dostopa do pomnilnika bi lahko omogočila, da postaji DGX učinkoviteje merijo v več GPU in CPU-jih, kar koristi porazdeljenim računalniškim okoljem.
Če povzamemo, čeprav NVLINK-C2C trenutno ni del postaje DGX, lahko njegove lastnosti potencialno povečajo pasovno širino spominske pomnilnike, zmanjšajo zamudo in izboljšajo razširljivost, če jih integrirajo v prihodnje sisteme.
Navedbe:
[1] https://developer.nvidia.com/blog/nvidia-race-hopper-superchip-architecture-in-dipth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-Interconnect-nvlink-c2c-faster-aktivnost-719444816144442176-UCRF
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-cases-and-critical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandWidth-and-nvlink-peeds-in-wopper-not-so-simple/