NVLink slēdzim ASIC ir galvenā loma, uzlabojot NVLink 5.0 veiktspēju, nodrošinot augsta joslas platuma un zemas latentuma starpsavienojumu risinājumu vairāku GPU sistēmām. Lūk, kā tas veicina uzlabotu sniegumu:
uzlabots joslas platums un mērogojamība
- ātrgaitas starpsavienojumi: NVLink 5.0 piedāvā divvirzienu joslas platumu 1,8 TB/s par GPU, katram GPU atbalstot līdz 18 NVLink savienojumiem ar 100 GB/s par saiti [1] [2]. NVLink slēdzis ASIC paplašina šos savienojumus vairākos GPU un mezglos, ļaujot nemanāmi sazināties plauktos un starp tiem. Šī iestatīšana atbalsta līdz 576 pilnībā savienotiem GPU, izveidojot masīvu aprēķināšanas audumu, kas efektīvi var apstrādāt lielus AI modeļus [1] [2].
- mērogojamība: NVLink slēdzis ļauj servera platformas, piemēram, GB200 NVL72, ievērojami mērogot GPU sakarus, atbalstot pat deviņas reizes vairāk GPU nekā tradicionālās astoņu GPU sistēmas. Šī mērogojamība ir būtiska vairāku triljonu parametru modeļu apmācībai, kur ir nepieciešama ātra datu apmaiņa starp GPU [1] [2].
Zems latentums un efektīva datu pārsūtīšana
-Tieša GPU-GPU komunikācija: NVLink apiet tradicionālos CPU sadales un plānošanas mehānismus, ļaujot tiešai datu apmaiņai starp GPU. Šis dizains samazina datu pārsūtīšanas latentumu un palielina vispārējo sistēmas caurlaidspēju [4].
- Asas protokola integrācija: katrā NVLink slēdzī ir dzinēji NVIDIA mērogojamajai hierarhiskajai agregācijai un reducēšanas protokolam (Sharp). Asi paātrina tīkla samazināšanu un multiraides operācijas, kas ir kritiski svarīgas ātrgaitas kolektīviem uzdevumiem AI un HPC lietojumprogrammās [1] [2].
Vienota atmiņu apvienošana un vienkāršota programmēšana
- Vienota atmiņa: NVLink ļauj izveidot vienotu atmiņas kopumu visā GPU, ļaujot tām nemanāmi dalīties ar atmiņu. Šī funkcija ir īpaši izdevīga lieliem modeļiem vai datu kopām, jo tā novērš nepieciešamību pēc skaidrām datu pārsūtīšanas starp diskrētiem atmiņas kopumiem, samazinot sarežģītību un pieskaitot pieskaitāmās izmaksas [6].
- Vienkāršoti programmēšanas modeļi: nodrošinot tiešu, augsta joslas platuma savienojumu starp GPU, NVLink vienkāršo programmēšanas modeļus. Izstrādātāji var koncentrēties uz lietojumprogrammu optimizēšanu, neuztraucoties par datu pārsūtīšanas sarežģītību starp GPU [6].
Jaudas efektivitāte un veiktspēja uz vatu
- Uzlabota enerģijas efektivitāte: NVLink optimizētā datu pārnešana un samazināts latentums veicina labāku veiktspēju uz vienu vatu, salīdzinot ar tradicionālajām PCIe balstītajām sistēmām. Šī efektivitāte ir būtiska liela mēroga AI un HPC izvietošanai, kur enerģijas patēriņš rada būtiskas bažas [6].
Rezumējot, NVLink slēdzis ASIC uzlabo NVLink 5.0 veiktspēju, nodrošinot augsta joslas platuma, zema latentuma savienojumus, efektīvi mērogojot vairāku GPU sistēmas un integrējot uzlabotus protokolus, piemēram, asu optimizētai datu apstrādei. Šīs funkcijas padara NVLink par augstas veiktspējas skaitļošanas un AI lietojumprogrammu stūrakmeni.
Atsauces:
[1] https://www.nvidia.com/en-us/data-center/nvlink/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/what-is-nvidia-nvlink.htm
[4] https://www.fibermall.com/blog/analysis-nv-switch.htm
[5] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-case-and-critical-best-pracices/
[7] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
.