NVLINK-C2C-це високошвидкісна технологія взаємозв'язку, розроблена NVIDIA, в першу чергу, представлена в їхній архітектурі Superchip Grace Hopper. Незважаючи на те, що станція DGX спеціально не використовує NVLINK-C2C, розуміння того, як NVLink-C2C підвищує пропускну здатність пам'яті, може дати розуміння потенційних переваг для подібних систем.
Основні функції NVLINK-C2C
1. Висока пропускна здатність: NVLINK-C2C пропонує двонаправлену пропускну здатність до 900 ГБ/с, значно перевершуючи традиційні з'єднання PCIE. Наприклад, посилання PCIE GEN5 X16 забезпечує максимальну пропускну здатність близько 128 ГБ/с у кожному напрямку [2] [7]. Ця висока пропускна здатність дозволяє швидше передати дані між процесором та GPU, що має вирішальне значення для додатків, що потребують великих наборів даних.
2. Уніфікований пул пам'яті: NVLink-C2C створює єдиний пул пам'яті, поєднуючи GPU HBM та CPU DRAM. Це дозволяє GPU отримувати доступ до пам'яті процесора Ця функція особливо корисна для додатків AI та HPC, які часто перевищують межі пам'яті GPU.
3. Когерентність пам'яті: NVLINK-C2C підтримує когерентність апаратної пам'яті, забезпечуючи узгодженість даних у просторах пам'яті процесора та графічного процесора. Це спрощує моделі програмування, усуваючи необхідність явного управління пам'яттю, дозволяючи розробникам зосереджуватися на алгоритмах, а не на обробці пам'яті [1] [6].
4. Низька затримка: прямий, зв'язок упаковки між процесором та GPU через NVLink-C2C значно зменшує затримки зв'язку. Затримка зменшується до менше 20 наносекунд, порівняно з приблизно 400-600 наносекундами для з'єднань PCIE GEN5 [4]. Це зниження затримки підвищує ефективність застосувань, що потребують частого зв'язку CPU-GPU.
Потенційний вплив на станцію DGX
Хоча станція DGX не використовує NVLINK-C2C, включення такої технології може значно підвищити її продуктивність. В даний час станція DGX використовує з'єднання NVLink між графічними процесорами, які забезпечують більшу пропускну здатність, ніж PCIE, але не такі вдосконалені, як NVLINK-C2C. Інтеграція NVLINK-C2C може:
-Збільшити пропускну здатність пам'яті: надаючи єдиний пул пам'яті та високу пропускну здатність, NVLink-C2C може покращити здатність станції DGX обробляти великі набори даних та складні моделі AI.
-Зменшення затримки: нижча затримка підвищить ефективність застосувань, що потребують жорсткої координації процесора-ГПУ, наприклад, обробка даних у режимі реального часу та висновки AI.
-Підвищення масштабованості: здатність NVLink-C2C підтримувати масштабний доступ до пам'яті може дати можливість станції DGX більш ефективно масштабуватись у кількох графічних процесорах та процесорах, що користується розподіленими обчислювальними середовищами.
Підсумовуючи це, хоча NVLink-C2C в даний час не є частиною станції DGX, його функції потенційно можуть підвищити пропускну здатність пам'яті, зменшити затримку та покращити масштабованість, якщо вони інтегруються в майбутні системи.
Цитати:
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nvlink-c2c-faster-activity-719448161451442176-ucrf
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-case-and-critical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-speeds-in-hopper-not-sy-simple/