Як NVLINK 5.0 обробляє передачу даних між декількома графічними процесорами

Архітектура та пропускна здатність

NVLINK 5.0 побудований для архітектури Блеквелла і пропонує значне збільшення пропускної здатності порівняно з її попередниками. Кожен GPU Blackwell підтримує до 18 з'єднань NVLink, кожне посилання забезпечує двонаправлену пропускну здатність 100 ГБ/с. Це призводить до загальної пропускної здатності 1,8 ТБ/с на GPU, що вдвічі перевищує попереднє покоління і більше ніж у 14 разів перевищує пропускну здатність PCIE GEN5 [1] [2] [4].

Пряме спілкування GPU-TO-GPU

NVLINK дозволяє прямувати зв'язок між графічними процесорами без необхідності посередника процесора, зменшуючи затримку та максимізуючи продуктивність. Ця архітектура підключення точки до точки гарантує, що кожен GPU має спеціальне посилання на кожен інший GPU, що дозволяє швидко переказувати дані без обміну пропускною здатністю [7].

перемикач Nvlink для масштабованості

Чіп перемикача NVLINK відіграє вирішальну роль у масштабних з'єднаннях NVLink на декількох графічних процесах, як всередині, так і між стелажами серверів. Він полегшує всеосяжне зв'язок GPU з повною швидкістю NVLink, ефективно перетворюючи центр обробки даних на гігантський GPU. Ця установка підтримує до 576 повністю підключених графічних процесорів у небакторинній обчислювальній тканині, що дозволяє масштабно застосовувати AI та HPC [1] [2] [4].

Колективні операції з різкими

Кожен перемикач NVLink включає двигуни для масштабованого ієрархічного протоколу ієрархічного агрегації та зменшення (SHARP), який прискорює зменшення мережі та операції з багатоадресною передачею. Це важливо для високошвидкісних колективних завдань у середовищах AI та HPC, що дозволяє ефективно обробляти великі набори даних та складні моделі [2] [4].

Застосування та переваги

NVLINK 5.0 призначений для підтримки розробки та розгортання моделей AI та обчислювальних додатків Trillion Parameter. Забезпечуючи високошвидкісну ефективну комунікацію між графічними процесорами, він дозволяє швидше обміняти та обробляти дані, що є критично важливим для складних обчислювальних завдань. Ця технологія є невід'ємною частиною рішень центру обробки даних NVIDIA, пропонуючи безпрецедентну масштабованість та продуктивність для платформ AI та HPC [1] [2] [4].

Цитати:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
[6] https://massedcompute.com/faq-answers/?
[7] https://www.amax.com/unleasing-next-level-gpu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975