ASIC NVLink Switch ima ključno vlogo pri povečanju zmogljivosti NVLink 5.0 z zagotavljanjem visoko povezave z nizkokanovo, ki je nizka zakasnitev za sisteme z več GPU. Tukaj je opisano, kako prispeva k izboljšanju uspešnosti:
Izboljšana pasovna širina in razširljivost
- Hitro povezave: NVLink 5.0 ponuja dvosmerno pasovno širino 1,8 TB/s na GPU, pri čemer vsak GPU podpira do 18 povezav NVLink pri 100 GB/s na povezavo [1] [2]. NVLink stikalo ASIC razširi te povezave na več GPU -jev in vozlišč, kar omogoča brezhibno komunikacijo znotraj in med regali. Ta nastavitev podpira do 576 popolnoma povezanih GPU -jev, kar ustvarja ogromno računalniško tkanino, ki lahko učinkovito ravna z velikimi modeli AI [1] [2].
- Scalibility: stikalo NVLink omogoča strežniške platforme, kot je GB200 NVL72, da znatno povečajo komunikacije GPU, kar podpira do devetkrat več GPU-ja kot tradicionalni osem-GPU sistemi. Ta razširljivost je ključnega pomena za treniranje večstranskih parametrov modelov, kjer je hitra izmenjava podatkov med GPU-ji bistvena [1] [2].
Nizka zamuda in učinkovit prenos podatkov
-Neposredna komunikacija GPU-to-GPU: NVLINK zaobide tradicionalne mehanizme dodelitve in razporeditve CPU-ja, kar omogoča neposredno izmenjavo podatkov med GPU. Ta zasnova zmanjšuje zamude prenosa podatkov in poveča celoten sistemski pretok [4].
- Sharp Protocol Integracija: Vsako stikalo NVLink vključuje motorje za NVIDIA -jevo razširljivo hierarhično agregacijo in protokol redukcije (Sharp). Ostro pospešuje zmanjšanje omrežja in operacije z večkratnimi razdelki, ki so ključne za kolektivne naloge za visoke hitrosti v aplikacijah AI in HPC [1] [2].
Poenoteno združevanje pomnilnika in poenostavljeno programiranje
- Poenoten pomnilnik: NVLink omogoča ustvarjanje enotnega pomnilniškega bazena čez GPU -je, kar jim omogoča, da brez težav delijo pomnilnik. Ta funkcija je še posebej koristna za velike modele ali nabore podatkov, saj odpravlja potrebo po eksplicitnih prenosih podatkov med diskretnimi pomnilniškimi bazeni, zmanjšanje zapletenosti in nadzemne stroške [6].
- Poenostavljeni programski modeli: z zagotavljanjem neposredne povezave z visoko pasovno širino med GPU-ji NVLink poenostavi programiranje modelov. Razvijalci se lahko osredotočijo na optimizacijo aplikacij, ne da bi skrbeli o pretankosti prenosa podatkov med GPU [6].
Učinkovitost moči in zmogljivost na vat
- Izboljšana učinkovitost energije: NVLinkov optimiziran prenos podatkov in zmanjšana zamuda prispevata k boljši zmogljivosti na vat v primerjavi s tradicionalnimi sistemi, ki temeljijo na PCIe. Ta učinkovitost je ključnega pomena za obsežne uvajanja AI in HPC, kjer je poraba energije pomembna zaskrbljujoča [6].
Če povzamemo, ASIC NVLink povečuje zmogljivost NVLink 5.0, tako da učinkovito zagotavlja povezavo z visoko pasovno širino, nizko zamudo, učinkovito skaliranje sistemov z več GPU in integriranje naprednih protokolov, kot je Sharp za optimizirano obdelavo podatkov. Zaradi teh funkcij je NVLink temelj visokozmogljivega računalništva in AI aplikacij.
Navedbe:
[1] https://www.nvidia.com/en-us/data-center/nvlink/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/what-is-nvidia-nvlink.htm
[4] https://www.fibermall.com/blog/analysis-nv-switch.htm
[5] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-moulti-gpu-communication/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-cases-and-critical-best-practices/
[7] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
[8] https://massedCopute.com/faq-answers/?question=how+does+pcie+5.0+Compare+To+nvlink+In+Terms+of+nvidia+gpu+performance%3f
