NVLINK-C2C je vysokorychlostní propojovací technologie vyvinutá společností NVIDIA, především v jejich architektuře Grace Hopper Superchip. Zatímco stanice DGX konkrétně nevyužívá NVLINK-C2C, pochopení toho, jak NVLINK-C2C zvyšuje šířku pásma paměti, může poskytnout nahlédnutí do potenciálních výhod pro podobné systémy.
Klíčové vlastnosti NVLINK-C2C
1. Vysoká šířka pásma: NVLink-C2C nabízí obousměrnou šířku pásma až 900 GB/s, což výrazně překonává tradiční připojení PCIE. Například odkaz PCIe Gen5 X16 poskytuje maximální šířku pásma asi 128 GB/s v každém směru [2] [7]. Tato vysoká šířka pásma umožňuje rychlejší přenos dat mezi CPU a GPU, což je zásadní pro aplikace vyžadující velké soubory dat.
2. Unified Memory Pool: NVLink-C2C vytváří sjednocený fond paměti kombinací GPU HBM a CPU DRAM. To umožňuje GPU přistupovat k paměti CPU téměř jako by to byla místní paměť s vysokou šířkou šířky, účinně rozšiřuje dostupný paměťový prostor pro velké modely nebo datové sady [4] [7]. Tato funkce je obzvláště prospěšná pro aplikace AI a HPC, které často překračují limity paměti GPU.
3.. Koherence paměti: NVLink-C2C podporuje koherenci hardwarové paměti a zajišťuje konzistenci dat napříč paměťovými prostory CPU a GPU. To zjednodušuje programovací modely odstraněním potřeby explicitní správy paměti, což vývojářům umožňuje soustředit se spíše na algoritmy než na manipulaci s pamětí [1] [6].
4. Nízká latence: přímé spojení, balení mezi CPU a GPU prostřednictvím NVLINK-C2C významně snižuje zpoždění komunikace. Latence je snížena na méně než 20 nanosekund, ve srovnání s přibližně 400-600 nanosekundy pro připojení PCIe Gen5 [4]. Toto snížení latence zvyšuje účinnost aplikací vyžadujících časté komunikaci CPU-GPU.
Potenciální dopad na stanici DGX
Zatímco stanice DGX nepoužívá NVLINK-C2C, začlenění takové technologie by mohlo výrazně zvýšit její výkon. Stanice DGX v současné době využívá spojení NVLink mezi GPU, která poskytují vyšší šířku pásma než PCIe, ale nejsou tak pokročilé jako NVLINK-C2C. Integrace NVLINK-C2C by mohla:
-Zvýšit šířku pásma paměti: NVLink-C2C by poskytovala sjednocenou paměťovou fond a přístup s vysokou šířkou pásma.
-Snížení latence: Nižší latence by zlepšila účinnost aplikací vyžadujících těsnou koordinaci CPU-GPU, jako je zpracování dat v reálném čase a inference AI.
-Zvýšení škálovatelnosti: Schopnost NVLink-C2C podporovat přístup k rozsáhlému přístupu k paměti by mohla umožnit stanici DGX efektivněji se škálovat napříč více GPU a CPU, což prospívá distribuovaným výpočetním prostředím.
Stručně řečeno, zatímco NVLINK-C2C není v současné době součástí stanice DGX, její funkce by mohly potenciálně zvýšit šířku pásma paměti, snížit latenci a zlepšit škálovatelnost, pokud jsou integrovány do budoucích systémů.
Citace:
[1] https://developer.nvidia.com/blog/nvidia-race-hopper-superchip-architecture-in-depth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nvlink-c2c-activity-71944448161451442176-Cucrf
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-it-works-use-ases-and-critical-best-tractices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-pandWidth-and-nvlink-Speeds-n-SOSImple/