เทคโนโลยี NVLINK-C2C มีบทบาทสำคัญในการเสริมสร้างแบนด์วิดท์หน่วยความจำในระบบเช่น DGX Spark โดยการให้การเชื่อมต่อระหว่างแบดไวด์แบนด์สูงระหว่าง GPU และ CPU เทคโนโลยีนี้มีประโยชน์อย่างยิ่งในระบบที่ต้องการการสื่อสารบ่อยครั้งระหว่างส่วนประกอบเหล่านี้เช่นเวิร์กโหลด AI และปริมาณงานการคำนวณประสิทธิภาพสูง (HPC)
การปรับปรุงคีย์
1. แบนด์วิดท์สูง: NVLINK-C2C มีแบนด์วิดท์สูงสุด 900 GB/s ซึ่งสูงกว่าการเชื่อมต่อ PCIE แบบดั้งเดิมอย่างมีนัยสำคัญ ตัวอย่างเช่น PCIE GEN4 มีแบนด์วิดธ์สองทิศทาง 64 GB/s ในขณะที่ NVLINK-C2C เพิ่มขึ้น 14 เท่า [1] แบนด์วิดท์สูงนี้ช่วยให้การถ่ายโอนข้อมูลอย่างรวดเร็วระหว่าง GPU และ CPU ซึ่งเป็นสิ่งจำเป็นสำหรับรุ่น AI ขนาดใหญ่หรือชุดข้อมูลที่เกินความจุหน่วยความจำของ GPU
2. เวลาแฝงต่ำ: เวลาแฝงใน NVLINK-C2C ลดลงอย่างมากเมื่อเทียบกับการเชื่อมต่อที่ใช้ PCIE ในขณะที่ H100 GPU ที่ใช้ PCIe Gen5 มีเวลาแฝงประมาณ 400-600 นาโนวินาทีสำหรับการเข้าถึงหน่วยความจำ CPU-to-GPU, NVLINK-C2C ลดลงเหลือน้อยกว่า 20 นาโนวินาทีเพื่อลดเวลาแฝงประมาณ 95-97%[1] เวลาแฝงต่ำนี้มีความสำคัญสำหรับงานที่ต้องมีการประสานงาน CPU-GPU และการถ่ายโอนข้อมูลอย่างรวดเร็ว
3. พูลหน่วยความจำแบบครบวงจร: NVLINK-C2C ช่วยให้สามารถสร้างพูลหน่วยความจำแบบครบวงจรโดยอนุญาตให้ GPU เข้าถึงหน่วยความจำ CPU โดยตรง ซึ่งหมายความว่า GPU สามารถใช้ CPU DRAM ราวกับว่ามันเป็นหน่วยความจำแบนด์วิดธ์สูงในท้องถิ่นเพิ่มเติมโดยกำจัดข้อ จำกัด ด้านความจุหน่วยความจำ GPU แบบดั้งเดิมได้อย่างมีประสิทธิภาพ [1] [2] คุณลักษณะนี้เป็นประโยชน์อย่างยิ่งสำหรับรุ่น AI ขนาดใหญ่หรือชุดข้อมูลที่ต้องการหน่วยความจำมากกว่าที่มีอยู่ใน GPU
4. หน่วยความจำเชื่อมโยงกัน: NVLINK-C2C รองรับการเชื่อมโยงกันของหน่วยความจำซึ่งทำให้มั่นใจได้ว่าข้อมูลมีความสอดคล้องกันในหน่วยความจำ CPU และ GPU สิ่งนี้ช่วยให้การซิงโครไนซ์ดั้งเดิมมีประสิทธิภาพและลดความจำเป็นในการจัดการหน่วยความจำที่ชัดเจนโดยนักพัฒนา [2] การเชื่อมโยงกันของหน่วยความจำยังช่วยให้การซิงโครไนซ์ที่มีน้ำหนักเบาในเธรด GPU และ CPU ซึ่งเป็นการปรับปรุงการใช้ระบบโดยรวม
5. ความสามารถในการปรับขนาดและประสิทธิภาพการใช้พลังงาน: NVLINK-C2C รองรับความสามารถในการปรับขนาดโดยการเปิดใช้งานการตั้งค่าหลาย GPU ที่มีประสิทธิภาพและได้รับการออกแบบให้ประหยัดพลังงานโดยใช้เทคนิคการส่งสัญญาณขั้นสูงเพื่อลดการใช้พลังงาน [3] [4] สิ่งนี้ทำให้เหมาะสำหรับสภาพแวดล้อมการคำนวณขนาดใหญ่ที่ทั้งประสิทธิภาพและประสิทธิภาพการใช้พลังงานมีความสำคัญ
โดยสรุปเทคโนโลยี NVLINK-C2C ในระบบเช่น DGX Spark ช่วยเพิ่มแบนด์วิดท์หน่วยความจำอย่างมีนัยสำคัญโดยให้การสื่อสารความเร็วสูงและความล่าช้าต่ำระหว่าง GPU และ CPU สิ่งนี้ช่วยให้การประมวลผลชุดข้อมูลขนาดใหญ่และเวิร์กโหลด AI มีประสิทธิภาพมากขึ้นโดยการสร้างพูลหน่วยความจำแบบครบวงจรและลดความจำเป็นในการจัดการหน่วยความจำที่ชัดเจน
การอ้างอิง:
[1] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[2] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-en-depth/
[3] https://www.fibermall.com/blog/dgx-gh200.htm
[4] https://convergedigest.com/think-of-nvidia-blackwell-as-a-platform/
[5] https://www.reddit.com/r/localllama/comments/1hvlbow/to_understand_the_project_digits_desktop_128_gb/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-use-cases-and-critical-bractices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.naddod.com/blog/the-high-speed-road-of-gpus
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-speeds-in-hopper-not-so-simple/
[10] https://www.amax.com/content/files/2023/12/nvidia_grace_cpu_superchip_enhanced_computing_whitepaper.pdf