NVLink 5.0 là lần lặp mới nhất của NVIDIA về công nghệ kết nối cực cao của nó, được thiết kế để tăng cường giao tiếp trực tiếp giữa nhiều GPU trong một hệ thống. Công nghệ này đặc biệt quan trọng đối với khối lượng công việc chuyên sâu GPU như đào tạo AI và điện toán hiệu suất cao. Dưới đây là cách NVLink 5.0 xử lý việc truyền dữ liệu giữa nhiều GPU:
Kiến trúc và băng thông
NVLink 5.0 được xây dựng cho kiến trúc Blackwell và mang lại sự gia tăng đáng kể băng thông so với người tiền nhiệm của nó. Mỗi GPU Blackwell hỗ trợ tối đa 18 kết nối NVLink, với mỗi liên kết cung cấp băng thông hai chiều là 100 GB/s. Điều này dẫn đến tổng số băng thông là 1,8 Tb/s mỗi GPU, gấp đôi so với thế hệ trước và hơn 14 lần băng thông của PCIe Gen5 [1] [2] [4].
Giao tiếp trực tiếp GPU-to GPU
NVLink cho phép giao tiếp trực tiếp giữa GPU mà không cần trung gian CPU, giảm độ trễ và tối đa hóa hiệu suất. Kiến trúc kết nối điểm-điểm này đảm bảo rằng mỗi GPU có một liên kết chuyên dụng với mọi GPU khác, cho phép chuyển dữ liệu nhanh chóng mà không cần chia sẻ băng thông [7].
Công tắc nvlink cho khả năng mở rộng
Chip công tắc NVLink đóng vai trò quan trọng trong việc mở rộng các kết nối NVLink trên nhiều GPU, cả trong và giữa các giá đỡ máy chủ. Nó tạo điều kiện cho giao tiếp GPU tất cả đến tất cả các tốc độ NVLink đầy đủ, biến một trung tâm dữ liệu thành một GPU khổng lồ một cách hiệu quả. Thiết lập này hỗ trợ tối đa 576 GPU được kết nối đầy đủ trong một loại vải tính toán không chặn, cho phép các ứng dụng AI và HPC quy mô lớn [1] [2] [4].
Hoạt động tập thể với sắc nét
Mỗi công tắc NVLink bao gồm các động cơ cho Giao thức giảm phân cấp và giảm phân cấp có thể mở rộng của NVIDIA (SHARP), giúp tăng tốc giảm trong mạng lưới và hoạt động phát đa hướng. Điều này rất cần thiết cho các tác vụ tập thể tốc độ cao trong môi trường AI và HPC, cho phép xử lý hiệu quả các bộ dữ liệu lớn và các mô hình phức tạp [2] [4].
Ứng dụng và lợi ích
NVLINK 5.0 được thiết kế để hỗ trợ phát triển và triển khai các mô hình AI nghìn tỷ tham số và các ứng dụng điện toán exascale. Bằng cách cung cấp giao tiếp tốc độ cao, hiệu quả giữa GPU, nó cho phép trao đổi và xử lý dữ liệu nhanh hơn, điều này rất quan trọng đối với các tác vụ tính toán phức tạp. Công nghệ này là không thể thiếu đối với các giải pháp trung tâm dữ liệu của NVIDIA, cung cấp khả năng mở rộng và hiệu suất chưa từng có cho các nền tảng AI và HPC [1] [2] [4].
Trích dẫn:
[1] https:
.
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fster
[6] https://massedcompute.com/faq-answers/?question=How+does+NVLink+handle+data+transfer+between+GPUs+in+a+system+with+multiple+GPUs%3F
.
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975