NVLink-C2C, NVIDIA tarafından geliştirilen ve öncelikle Grace Hopper Superchip mimarilerinde yer alan yüksek hızlı bir ara bağlantı teknolojisidir. DGX istasyonu NVLink-C2C'yi özel olarak kullanmasa da, NVLink-C2C'nin bellek bant genişliğini nasıl geliştirdiğini anlamak, benzer sistemler için potansiyel faydalar hakkında bilgi sağlayabilir.
NVLink-C2C'nin Temel Özellikleri
1. Yüksek bant genişliği: NVLink-C2C, geleneksel PCIe bağlantılarını önemli ölçüde aşan 900 GB/s'ye kadar çift yönlü bir bant genişliği sunar. Örneğin, bir PCIe Gen5 X16 bağlantısı, her yönde yaklaşık 128 GB/s maksimum bant genişliği sağlar [2] [7]. Bu yüksek bant genişliği, büyük veri kümeleri gerektiren uygulamalar için çok önemli olan CPU ve GPU arasında daha hızlı veri aktarımını sağlar.
2. Birleşik Bellek Havuzu: NVLink-C2C, GPU HBM ve CPU DRAM'ı birleştirerek birleşik bir bellek havuzu oluşturur. Bu, GPU'nun CPU belleğine neredeyse yerel yüksek bant genişliği belleği gibi erişmesini sağlar ve büyük modeller veya veri kümeleri için mevcut bellek alanını etkili bir şekilde genişletir [4] [7]. Bu özellik özellikle GPU bellek sınırlarını aşan AI ve HPC uygulamaları için faydalıdır.
3. Bellek Tutarlılığı: NVLink-C2C, CPU ve GPU bellek boşluklarında veri tutarlılığını sağlayarak donanım bellek tutarlılığını destekler. Bu, programlama modellerini açık bellek yönetimi ihtiyacını ortadan kaldırarak basitleştirerek, geliştiricilerin bellek işleme yerine algoritmalara odaklanmalarını sağlar [1] [6].
4. Düşük gecikme: NVLink-C2C üzerinden CPU ve GPU arasındaki doğrudan, paket üzerindeki bağlantı iletişim gecikmelerini önemli ölçüde azaltır. Gecikme, PCIE GEN5 bağlantıları için yaklaşık 400-600 nanosaniyeye kıyasla 20 nanosaniye'den daha azına indirgenir [4]. Gecikmedeki bu azalma, sık CPU-GPU iletişimi gerektiren uygulamaların verimliliğini arttırır.
DGX istasyonu üzerindeki potansiyel etki
DGX istasyonu NVLink-C2C kullanmasa da, bu tür teknolojiyi dahil etmek performansını önemli ölçüde artırabilir. DGX istasyonu şu anda PCIe'den daha yüksek bant genişliği sağlayan ancak NVLink-C2C kadar gelişmiş olmayan GPU'lar arasında NVLink bağlantılarını kullanıyor. NVLink-C2C'nin entegrasyonu şunları entegre edebilir:
-Bellek bant genişliğini artırın: NVLink-C2C, birleşik bir bellek havuzu ve yüksek bant genişliği erişimi sağlayarak DGX istasyonunun büyük veri kümelerini ve karmaşık AI modellerini işleme yeteneğini geliştirebilir.
-Gecikmeyi azaltın: Daha düşük gecikme, gerçek zamanlı veri işleme ve AI çıkarımları gibi sıkı CPU-GPU koordinasyonu gerektiren uygulamaların verimliliğini artıracaktır.
-Ölçeklenebilirliği Geliştirin: NVLink-C2C'nin büyük ölçekli bellek erişimini destekleme yeteneği, DGX istasyonunun birden fazla GPU ve CPU arasında daha verimli bir şekilde ölçeklenmesini sağlayarak dağıtılmış bilgi işlem ortamlarına fayda sağlayabilir.
Özetle, NVLink-C2C şu anda DGX istasyonunun bir parçası olmasa da, özellikleri potansiyel olarak bellek bant genişliğini artırabilir, gecikmeyi azaltabilir ve gelecekteki sistemlere entegre edilirse ölçeklenebilirliği artırabilir.
Alıntılar:
[1] https://deceloper.nvidia.com/blog/nvidia-grace-hopper-sperchip-architecture-in-epth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nvlink-c2c free-aktivite-7194481614514442176-uccrf
[6] https://www.atlantic.net/gpu-server-hsting/nvidia-nvlink-how-t-works-use-cases-and-ritical-best-practices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-mek-memory-bandwidth-and-nvlink-speeds-in-hopper-not-so-simple/