Как NVLink 5.0 обрабатывает передачу данных между несколькими графическими процессорами

Архитектура и пропускная способность

NVLink 5.0 создан для архитектуры Blackwell и предлагает значительное увеличение пропускной способности по сравнению с его предшественниками. Каждый графический процессор Blackwell поддерживает до 18 соединений NVLink, причем каждая ссылка обеспечивает двунаправленную полосу пропускания 100 ГБ/с. Это приводит к общей пропускной способности 1,8 ТБ/с на графический процессор, что в два раза больше, чем у предыдущего поколения и более чем в 14 раз превышает пропускную способность PCIE Gen5 [1] [2] [4].

Direct GPU-GPU Communication

NVLink обеспечивает прямую связь между графическими процессорами без необходимости в посредниках процессора, сокращении задержки и максимизации производительности. Эта архитектура подключения точки-точки гарантирует, что каждый графический процессор имеет выделенную ссылку на любой другой графический процессор, что позволяет быстро передавать данные без использования полосы пропускания [7].

NVLink Switch для масштабируемости

Чип переключателя NVLink играет важную роль в масштабировании соединений NVLink по нескольким графическим процессорам, как внутри, так и между серверными стойками. Он облегчает общую связь с графическим процессором на полной скорости NVLink, эффективно превращая центр обработки данных в гигантский графический процессор. Эта установка поддерживает до 576 полностью подключенных графических процессоров в неблокирующей вычислительной ткани, что позволяет крупномасштабным приложениям ИИ и HPC [1] [2] [4].

Коллективные операции с Sharp

Каждый переключатель NVLink включает в себя двигатели для масштабируемого иерархического протокола агрегации NVIDIA (SHARP), который ускоряет сокращение в сети и операции многоадресной рассылки. Это важно для высокоскоростных коллективных задач в средах AI и HPC, что позволяет эффективно обрабатывать большие наборы данных и сложные модели [2] [4].

Приложения и преимущества

NVLINK 5.0 предназначен для поддержки разработки и развертывания моделей ИИ с триллионом параметра и вычислительных приложений Exascale. Предоставляя высокоскоростную, эффективную связь между графическими процессорами, она обеспечивает более быстрый обмен и обработку данных, что имеет решающее значение для сложных вычислительных задач. Эта технология является неотъемлемой частью решений центров обработки данных NVIDIA, предлагая беспрецедентную масштабируемость и производительность для платформ AI и HPC [1] [2] [4].

Цитаты:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-ccelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html
[6] https://massedcompute.com/faq-answers/?question=how+does+nvlink+Handle+data+Transfer+weewSeling+Gpus+in+A+System+ with+multiple+gpus%3F
[7] https://www.amax.com/unleshing-next-level-gpu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connection-4-gpus/253975