NVLink-C2C tehnoloģijai ir izšķiroša loma atmiņas joslas platuma uzlabošanā tādās sistēmās kā DGX dzirkstele, nodrošinot augsta joslas platuma un zemas latentuma starpsavienojumu starp GPU un CPU. Šī tehnoloģija ir īpaši izdevīga sistēmās, kurām nepieciešama bieža komunikācija starp šiem komponentiem, piemēram, AI un augstas veiktspējas skaitļošanas (HPC) darba slodzes.
Galvenie uzlabojumi
1. Augsts joslas platums: NVLink-C2C piedāvā maksimālo joslas platumu 900 GB/s, kas ir ievērojami augstāks nekā tradicionālie PCIE savienojumi. Piemēram, PCIE GEN4 nodrošina tikai 64 GB/s divvirzienu joslas platumu, savukārt NVLink-C2C sasniedz 14x pieaugumu par to [1]. Šis augstais joslas platums ļauj ātri pārsūtīt datu pārsūtīšanu starp GPU un CPU, kas ir būtisks lieliem AI modeļiem vai datu kopām, kas pārsniedz GPU atmiņas ietilpību.
2. Zems latentums: NVLINK-C2C latentums ir dramatiski samazināts, salīdzinot ar PCIe balstītiem savienojumiem. Kamēr H100 GPU, kas izmanto PCIE GEN5, ir aptuveni 400–600 nanosekundes, lai piekļūtu CPU-to-GPU atmiņai, NVLink-C2C to samazina līdz mazāk nekā 20 nanosekundēm, sasniedzot latentuma samazinājumu aptuveni 95–97%[1]. Šis zemais latentums ir būtisks uzdevumiem, kuriem nepieciešama stingra CPU-GPU koordinācija un ātras datu pārskaitījumi.
3. Vienotā atmiņas fonds: NVLink-C2C ļauj izveidot vienotu atmiņas kopumu, ļaujot GPU tieši piekļūt CPU atmiņai. Tas nozīmē, ka GPU var izmantot CPU dramu, it kā tā būtu papildu vietējā augstā joslas platuma atmiņa, efektīvi novēršot tradicionālās GPU atmiņas jaudas ierobežojumus [1] [2]. Šī funkcija ir īpaši izdevīga lieliem AI modeļiem vai datu kopām, kurām nepieciešama vairāk atmiņas, nekā tas ir pieejams GPU.
4. Atmiņas koherence: NVLink-C2C atbalsta atmiņas saskaņotību, kas nodrošina, ka dati ir konsekventi gan CPU, gan GPU atmiņā. Tas ļauj efektīvi sinhronizācijas primitīvas un samazina vajadzību pēc izstrādātājiem skaidru atmiņas pārvaldību [2]. Atmiņas koherence arī nodrošina vieglu sinhronizāciju visos GPU un CPU pavedienos, uzlabojot vispārējo sistēmas izmantošanu.
5. Mērogojamība un jaudas efektivitāte: NVLink-C2C atbalsta mērogojamību, nodrošinot efektīvus vairāku GPU iestatījumus un ir paredzēts, lai būtu efektīvs, izmantojot uzlabotas signalizācijas metodes, lai samazinātu enerģijas patēriņu [3] [4]. Tas padara to piemērotu liela mēroga skaitļošanas vidē, kur izšķiroša ir gan veiktspēja, gan energoefektivitāte.
Rezumējot, NVLink-C2C tehnoloģija tādās sistēmās kā DGX Spark ievērojami palielina atmiņas joslas platumu, nodrošinot ātrgaitas, zemas latentuma komunikāciju starp GPU un CPU. Tas ļauj efektīvāk apstrādāt lielas datu kopas un AI darba slodzes, izveidojot vienotu atmiņu kopumu un samazinot nepieciešamību pēc skaidras atmiņas pārvaldības.
Atsauces:
[1] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[2] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/
[3] https://www.fibermall.com/blog/dgx-gh200.htm
[4] https://convergedigest.com/think-of-nvidia-blackwell-as-a-platform/
[5] https://www.reddit.com/r/localllama/comments/1hvlbow/to_understand_the_project_digits_desktop_128_gb/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-case-and-critical-best-pracices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-----andwway-apu
[8] https://www.naddod.com/blog/the-high-peed-road-of-gpus
.
]