Tehnologija NVLink-C2C ima ključno vlogo pri povečanju pasovne širine spomina v sistemih, kot je DGX Spark, tako da zagotavlja medsebojno povezanost z visoko pasovno širino med GPU in CPU. Ta tehnologija je še posebej koristna v sistemih, ki zahtevajo pogosto komunikacijo med temi komponentami, kot so delovne obremenitve AI in visokozmogljivo računalništvo (HPC).
Ključne izboljšave
1. Visoka pasovna širina: NVLink-C2C ponuja največjo pasovno širino 900 GB/s, kar je bistveno večje od tradicionalnih povezav PCIe. Na primer, PCIE GEN4 zagotavlja le 64 GB/s dvosmerno pasovno širino, medtem ko NVLink-C2C doseže 14-kratno povečanje v primerjavi s tem [1]. Ta visoka pasovna širina omogoča hiter prenos podatkov med GPU in CPU, ki je bistvenega pomena za velike modele AI ali nabore podatkov, ki presegajo pomnilniško zmogljivost GPU.
2. Nizka zamuda: Latenca v NVLink-C2C se v primerjavi s povezavami na osnovi PCIe močno zmanjša. Medtem ko ima H100 GPU, ki uporablja PCIE GEN5, zakasnitev približno 400-600 nanosekund za dostop do pomnilnika CPU do GPU, NVLINK-C2C to zmanjša na manj kot 20 nanosekund, kar doseže zmanjšanje latencije za približno 95-97%[1]. Ta nizka zamuda je ključnega pomena za naloge, ki zahtevajo tesno koordinacijo CPU-GPU in hitri prenosi podatkov.
3. Poenoten pomnilniški bazen: NVLink-C2C omogoča ustvarjanje enotnega pomnilniškega bazena, tako da GPU omogoča neposredno dostop do pomnilnika CPU-ja. To pomeni, da lahko GPU uporabi CPU DRAM, kot da gre za dodaten lokalni pomnilnik z visoko pasovno širino, kar učinkovito odpravi tradicionalne omejitve zmogljivosti pomnilnika GPU [1] [2]. Ta funkcija je še posebej koristna za velike modele AI ali nabore podatkov, ki zahtevajo več pomnilnika od tistega, kar je na voljo na GPU -ju.
4. Skladnost pomnilnika: NVLink-C2C podpira skladnost pomnilnika, kar zagotavlja, da so podatki skladni tako v pomnilniku CPU kot GPU. To omogoča učinkovite sinhronizacijske primitive in zmanjšuje potrebo po izrecnem upravljanju pomnilnika s strani razvijalcev [2]. Koherenca pomnilnika omogoča tudi lahko sinhronizacijo v nith GPU in CPU, kar izboljšuje celotno uporabo sistema.
5. Posebnost in učinkovitost energije: NVLINK-C2C podpira razširljivost z omogočanjem učinkovitih nastavitev z več GPU in je zasnovan tako, da je učinkovit z uporabo naprednih signalnih tehnik za zmanjšanje porabe energije [3] [4]. Zaradi tega je primeren za obsežna računalniška okolja, kjer sta tako zmogljivost kot energetska učinkovitost ključnega pomena.
Če povzamemo, tehnologija NVLink-C2C v sistemih, kot je DGX Spark, znatno poveča pasovno širino pomnilnika z zagotavljanjem visoke hitrosti, nizke ladnosti med GPU in CPU. To omogoča učinkovitejšo obdelavo velikih naborov podatkov in delovnih obremenitev AI z ustvarjanjem enotnega pomnilniškega bazena in zmanjšanjem potrebe po izrecnem upravljanju pomnilnika.
Navedbe:
[1] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[2] https://developer.nvidia.com/blog/nvidia-race-hopper-superchip-architecture-in-dipth/
[3] https://www.fibermall.com/blog/dgx-gh200.htm
[4] https://convergegegest.com/think-of-nvidia-blackwell-as-a-platform/
[5] https://www.reddit.com/r/localllama/comments/1hvlbow/to_underast_the_project_digits_desktop_128_gb/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-cases-and-critical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.naddod.com/blog/the-high-peed-road-of-gpus
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandWidth-and-nvlink-peeds-in-wopper-not-so-simple/
[10] https://www.amax.com/content/files/2023/12/nvidia_grace_cpu_superchip_enhanced_computing_whitepaper.pdf