ชิปสวิตช์ NVLINK มีบทบาทสำคัญในการเพิ่มการสื่อสาร GPU ในระบบที่ใช้สถาปัตยกรรม Blackwell GPU โดยให้เทคโนโลยีการเชื่อมต่อความเร็วสูงและความเร็วสูง เทคโนโลยีนี้ได้รับการออกแบบมาเพื่อเอาชนะข้อ จำกัด ของสวิตช์ PCIe แบบดั้งเดิมซึ่งมักถูก จำกัด ด้วยแบนด์วิดท์ที่ต่ำกว่าและเวลาแฝงที่สูงขึ้น นี่คือวิธีที่ชิปสวิตช์ NVLink ช่วยเพิ่มการสื่อสาร GPU:
การสื่อสารโดยตรง GPU-to-GPU
-การเชื่อมต่อระหว่างความเร็วสูง: ชิปสวิตช์ NVLINK ช่วยให้การสื่อสาร GPU-to-GPU โดยตรงผ่านความต้องการสวิตช์ PCIe การเชื่อมต่อโดยตรงนี้จะเพิ่มความเร็วในการถ่ายโอนข้อมูลอย่างมีนัยสำคัญและลดเวลาแฝงทำให้ GPU ทำงานร่วมกันได้อย่างมีประสิทธิภาพมากขึ้น [1] [2]- แบนด์วิดธ์และความสามารถในการปรับขนาด: NVLink รุ่นที่ห้าซึ่งรวมเข้ากับสถาปัตยกรรม Blackwell เสนอแบนด์วิดท์สูงถึง 1.8 เทราไบต์ต่อวินาทีต่อ GPU นี่เป็นมากกว่า 14 เท่าของแบนด์วิดท์ของ PCIe Gen5 ทำให้เหมาะสำหรับแอปพลิเคชัน AI ขนาดใหญ่และ HPC [3] [7]
ฟังก์ชันการทำงานของ nvswitch
-การเชื่อมต่อแบบหลาย GPU: ชิป NVSWITCH ทำหน้าที่เป็นเทคโนโลยีการเชื่อมต่อความเร็วสูงที่เชื่อมต่อ GPU หลายตัวโดยใช้อินเตอร์เฟส NVLINK รองรับพอร์ต NVLINK สูงสุด 64 พอร์ตซึ่งอำนวยความสะดวกในการสื่อสารผ่าน GPUs ภายในเซิร์ฟเวอร์หรือข้ามชั้นวาง [4] [9]- ฟังก์ชั่นที่คมชัด: ชิป NVSWITCH รวมการรวมลำดับชั้นของ NVIDIA และโปรโตคอลการลดลง (คมชัด) ซึ่งช่วยเพิ่มประสิทธิภาพการคำนวณโดยการรวมและปรับปรุงผลการคำนวณในหลายหน่วย GPU สิ่งนี้จะช่วยลดแพ็กเก็ตเครือข่ายและเพิ่มประสิทธิภาพการรวมข้อมูลและถ่ายโอน [1] [9]
ประสิทธิภาพที่เพิ่มขึ้นสำหรับ AI และ HPC
- แอพพลิเคชั่น AI และ HPC: การรวมกันของเทคโนโลยี NVLINK และ NVSWITCH เป็นสิ่งสำคัญสำหรับการบรรลุประสิทธิภาพที่ดีที่สุดในเวิร์กโหลด AI และการปรับใช้ GPU ขนาดใหญ่ รองรับการสร้างเครือข่าย NVLink เฉพาะสำหรับการสื่อสาร GPU-to-GPU ซึ่งเป็นอิสระจากเครือข่ายอีเธอร์เน็ต IP [1] [4]- การคำนวณ Exascale: ชิปสวิตช์ NVLink เป็นสิ่งจำเป็นสำหรับการคำนวณแบบ exascale และการฝึกอบรมพารามิเตอร์ AI พารามิเตอร์หลายล้านล้าน ช่วยให้การสื่อสารอย่างรวดเร็วและมีประสิทธิภาพใน GPU ทั้งหมดภายในคลัสเตอร์เซิร์ฟเวอร์อำนวยความสะดวกในการป้อนชุดข้อมูลขนาดใหญ่ลงในแบบจำลองและการแลกเปลี่ยนข้อมูลอย่างรวดเร็วระหว่าง GPU [3] [7]
โดยสรุปชิปสวิตช์ NVLINK ช่วยเพิ่มการสื่อสาร GPU ในสถาปัตยกรรม GPU ของ Blackwell โดยการเชื่อมต่อความเร็วสูงระหว่าง GPUs ที่รองรับการปรับใช้ GPU ขนาดใหญ่และเพิ่มประสิทธิภาพการรวมข้อมูลและการถ่ายโอนผ่านฟังก์ชั่นที่คมชัด เทคโนโลยีนี้เป็นหัวใจสำคัญสำหรับการบรรลุประสิทธิภาพการเร่งความเร็วในแอปพลิเคชัน AI และ HPC
การอ้างอิง:
[1] https://training.continuumlabs.ai/infrastructure/servers-and-chips/nvlink-switch
[2] https://www.fibermall.com/blog/gpu-pcle-nvlink-nvswitch.htm
[3] https://www.amax.com/fifth-generation-nvidia-nvlink/
[4] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-use-cases-and-critical-bractices/
[5] https://siliconangle.com/2024/08/16/nvlink-nvswitch-nvidias-secret-weapon-ai-wars/
[6] https://www.amax.com/unleashing-next-level-gpu-performance-with-nvidia-nvlink/
[7] https://www.nvidia.com/en-us/data-center/nvlink/
[8] https://blog.spheron.network/nvidias-blackwell-what-you-need-to-know-the-next-generation-of-gpus
[9] https://www.fs.com/blog/fs-an-overview-of-nvidia-nvlink-2899.html