NVLINK-C2C เป็นเทคโนโลยีการเชื่อมต่อความเร็วสูงที่พัฒนาโดย NVIDIA ซึ่งส่วนใหญ่เป็นจุดเด่นในสถาปัตยกรรม Grace Hopper Superchip ในขณะที่สถานี DGX ไม่ได้ใช้ NVLINK-C2C โดยเฉพาะการทำความเข้าใจว่า NVLINK-C2C ช่วยเพิ่มแบนด์วิดท์หน่วยความจำสามารถให้ข้อมูลเชิงลึกเกี่ยวกับประโยชน์ที่อาจเกิดขึ้นสำหรับระบบที่คล้ายกันได้อย่างไร
คุณสมบัติคีย์ของ NVLink-C2C
1. แบนด์วิดท์สูง: NVLINK-C2C เสนอแบนด์วิดท์แบบสองทิศทางสูงถึง 900 GB/s ซึ่งเหนือกว่าการเชื่อมต่อ PCIe แบบดั้งเดิมอย่างมีนัยสำคัญ ตัวอย่างเช่นลิงก์ PCIe Gen5 X16 ให้แบนด์วิดท์สูงสุดประมาณ 128 GB/s ในแต่ละทิศทาง [2] [7] แบนด์วิดท์สูงนี้ช่วยให้การถ่ายโอนข้อมูลได้เร็วขึ้นระหว่าง CPU และ GPU ซึ่งเป็นสิ่งสำคัญสำหรับแอปพลิเคชันที่ต้องใช้ชุดข้อมูลขนาดใหญ่
2. พูลหน่วยความจำแบบครบวงจร: NVLINK-C2C สร้างพูลหน่วยความจำแบบครบวงจรโดยการรวม GPU HBM และ CPU DRAM สิ่งนี้ช่วยให้ GPU สามารถเข้าถึงหน่วยความจำ CPU เกือบจะราวกับว่าเป็นหน่วยความจำแบนด์วิดท์สูงในท้องถิ่นขยายพื้นที่หน่วยความจำที่มีอยู่สำหรับรุ่นหรือชุดข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพ [4] [7] คุณสมบัตินี้เป็นประโยชน์อย่างยิ่งสำหรับแอปพลิเคชัน AI และ HPC ที่มักจะเกินขีด จำกัด ของหน่วยความจำ GPU
3. หน่วยความจำการเชื่อมโยงกัน: NVLINK-C2C รองรับการเชื่อมโยงกันของหน่วยความจำฮาร์ดแวร์เพื่อให้มั่นใจว่าข้อมูลความสอดคล้องของ CPU และพื้นที่หน่วยความจำ GPU สิ่งนี้ทำให้แบบจำลองการเขียนโปรแกรมง่ายขึ้นโดยไม่จำเป็นต้องจัดการหน่วยความจำที่ชัดเจนทำให้นักพัฒนาสามารถมุ่งเน้นไปที่อัลกอริทึมมากกว่าการจัดการหน่วยความจำ [1] [6]
4. เวลาแฝงต่ำ: การเชื่อมต่อโดยตรง, แพคเกจระหว่าง CPU และ GPU ผ่าน NVLINK-C2C ช่วยลดความล่าช้าในการสื่อสารอย่างมีนัยสำคัญ เวลาแฝงจะลดลงเหลือน้อยกว่า 20 นาโนวินาทีเมื่อเทียบกับประมาณ 400-600 นาโนวินาทีสำหรับการเชื่อมต่อ PCIe Gen5 [4] การลดลงของเวลาแฝงนี้ช่วยเพิ่มประสิทธิภาพของแอปพลิเคชันที่ต้องการการสื่อสาร CPU-GPU บ่อยครั้ง
ผลกระทบที่อาจเกิดขึ้นกับสถานี DGX
ในขณะที่สถานี DGX ไม่ได้ใช้ NVLINK-C2C การรวมเทคโนโลยีดังกล่าวสามารถช่วยเพิ่มประสิทธิภาพได้อย่างมีนัยสำคัญ ปัจจุบันสถานี DGX ใช้การเชื่อมต่อ NVLink ระหว่าง GPU ซึ่งให้แบนด์วิดท์สูงกว่า PCIe แต่ไม่ได้สูงเท่ากับ NVLink-C2C การรวม NVLINK-C2C สามารถ:
-เพิ่มแบนด์วิดท์หน่วยความจำ: โดยการจัดหาพูลหน่วยความจำแบบครบวงจรและการเข้าถึงแบนด์วิดท์สูง NVLINK-C2C สามารถปรับปรุงความสามารถของสถานี DGX ในการจัดการชุดข้อมูลขนาดใหญ่และรุ่น AI ที่ซับซ้อน
-ลดเวลาแฝง: เวลาแฝงที่ต่ำกว่าจะปรับปรุงประสิทธิภาพของแอปพลิเคชันที่ต้องการการประสานงาน CPU-GPU อย่างแน่นหนาเช่นการประมวลผลข้อมูลแบบเรียลไทม์และการอนุมาน AI
-เพิ่มความสามารถในการปรับขนาด: ความสามารถของ NVLINK-C2C ในการรองรับการเข้าถึงหน่วยความจำขนาดใหญ่สามารถช่วยให้สถานี DGX สามารถปรับขนาดได้อย่างมีประสิทธิภาพมากขึ้นใน GPU และซีพียูหลายแห่งได้รับประโยชน์จากสภาพแวดล้อมการคำนวณแบบกระจาย
โดยสรุปในขณะที่ NVLINK-C2C ไม่ได้เป็นส่วนหนึ่งของสถานี DGX แต่คุณสมบัติของมันอาจช่วยเพิ่มแบนด์วิดท์หน่วยความจำลดเวลาแฝงและปรับปรุงความสามารถในการปรับขนาดหากรวมเข้ากับระบบในอนาคต
การอ้างอิง:
[1] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/
[2] https://videocodec.tistory.com/2935
[3] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[4] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-evolution
[5] https://www.linkedin.com/posts/basavaraj-hakari-69b90513_new-cpu-and-gpu-interconnect-nvlink-c2c-fastivity-7194448161451442176-UCRF
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-use-cases-and-critical-bractices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.fibermall.com/blog/nvidia-nvlink.htm
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-speeds-in-hopper-not-so-simple/