NVLink-C2C是NVIDIA开发的高速互连技术，主要以其Grace Hopper SuperChip Architecture。虽然DGX站没有特别利用NVLINK-C2C，但了解NVLink-C2C如何增强内存带宽可以为相似系统的潜在好处提供见解。
NVLink-C2C的关键功能
1。高带宽：NVLink-C2C提供高达900 GB/s的双向带宽，大大超过了传统的PCIE连接。例如，PCIE GEN5 X16链接在每个方向上提供约128 GB/s的最大带宽[2] [7]。这个高带宽可以使CPU和GPU之间的数据传输更快，这对于需要大型数据集的应用至关重要。
2。统一内存池：NVLINK-C2C通过组合GPU HBM和CPU DRAM创建统一的内存池。这使GPU几乎可以访问CPU内存，好像它是本地的高带宽内存，从而有效地扩展了大型模型或数据集的可用内存空间[4] [7]。此功能对于通常超过GPU内存限制的AI和HPC应用程序特别有益。
3。内存相干性：NVLINK-C2C支持硬件内存相干性，确保CPU和GPU内存空间的数据一致性。这可以通过消除对明确内存管理的需求，从而使开发人员专注于算法而不是内存处理[1] [6]来简化编程模型。
4。低延迟：通过NVLink-C2C，CPU和GPU之间的直接，包装连接可显着减少通信延迟。延迟降至小于20纳秒，而PCIE GEN5连接的400-600纳秒[4]。延迟的这种降低提高了需要频繁进行CPU-GPU通信的应用的效率。
###对DGX站的潜在影响
虽然DGX站不使用NVLink-C2C，但结合此类技术可以显着提高其性能。 DGX站当前利用GPU之间的NVLINK连接，该连接提供的带宽比PCIE更高，但不如NVLink-C2C高级。集成NVLink-C2C可以：
- 增加内存带宽：通过提供统一的内存池和高带宽访问，NVLink-C2C可以提高DGX站处理大型数据集和复杂AI模型的能力。
- 减少潜伏期：降低潜伏期将提高需要紧密CPU-GPU协调的应用程序的效率，例如实时数据处理和AI推断。
- 增强可扩展性：NVLink-C2C支持大规模内存访问的能力可以使DGX站在多个GPU和CPU上更有效地扩展，从而使分布式计算环境受益。
总而言之，尽管NVLink-C2C目前不在DGX站的一部分，但如果整合到将来的系统中，它的功能可能会增强内存带宽，降低延迟并提高可扩展性。
引用：
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-vortolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-and-gpu-ing-gpu-interconnect-nvlink-nvlink-c2c-faster-1944444444481614514442176-ucrf
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-works-use-case-cases-and-cass-----------------------------------------
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-and-nvlink-speeds-in-hopper-not-not-simple/