Chip Switch Switch đóng một vai trò quan trọng trong việc tăng cường giao tiếp GPU trong các hệ thống sử dụng kiến trúc GPU Blackwell bằng cách cung cấp công nghệ kết nối trực tiếp tốc độ cao. Công nghệ này được thiết kế để khắc phục những hạn chế của các công tắc PCIe truyền thống, thường bị hạn chế bởi băng thông thấp hơn và độ trễ cao hơn. Đây là cách chip NVLink Switch tăng cường giao tiếp GPU:
Truyền thông GPU-to GPU trực tiếp
-Kết nối tốc độ cao: Chip Switch Switch cho phép giao tiếp GPU-to GPU trực tiếp, bỏ qua nhu cầu chuyển đổi PCIE. Kết nối trực tiếp này làm tăng đáng kể tốc độ truyền dữ liệu và giảm độ trễ, cho phép GPU phối hợp với nhau hiệu quả hơn [1] [2].- Băng thông và khả năng mở rộng: NVLink thế hệ thứ năm, được tích hợp vào kiến trúc Blackwell, cung cấp băng thông lên tới 1,8 terabyte mỗi giây mỗi GPU. Điều này gấp hơn 14 lần băng thông của PCIe Gen5, làm cho nó trở nên lý tưởng cho các ứng dụng AI và HPC quy mô lớn [3] [7].
Chức năng
NVSwitch
-Kết nối đa GPU: Chip NVSWitch hoạt động như một công nghệ kết nối tốc độ cao kết nối nhiều GPU bằng giao diện NVLink. Nó hỗ trợ tối đa 64 cổng NVLink, tạo điều kiện giao tiếp tất cả trên tất cả các GPU trong một máy chủ hoặc trên các giá đỡ [4] [9].- Chức năng sắc nét: Chip NVSwitch tích hợp giao thức tổng hợp và giảm phân cấp có thể mở rộng của NVIDIA (SHARP), giúp tăng cường hiệu suất tính toán bằng cách tổng hợp và cập nhật kết quả tính toán trên nhiều đơn vị GPU. Điều này làm giảm các gói mạng và tối ưu hóa tập hợp dữ liệu và chuyển [1] [9].
Hiệu suất nâng cao cho AI và HPC
- Các ứng dụng AI và HPC: Sự kết hợp giữa NVLink và NVSWitch Technologies là rất quan trọng để đạt được hiệu suất tối ưu trong khối lượng công việc AI và triển khai GPU quy mô lớn. Nó hỗ trợ việc tạo ra một mạng NVLink chuyên dụng cho giao tiếp GPU-to GPU, độc lập với các mạng IP Ethernet [1] [4].- Điện toán exascale: chip NVLink Switch là điều cần thiết cho các mô hình AI tham số AI của Tổ chức Multi-Dely Trillion. Nó cho phép giao tiếp nhanh chóng và hiệu quả trên tất cả các GPU trong cụm máy chủ, tạo điều kiện cho việc cho ăn các bộ dữ liệu lớn vào các mô hình và trao đổi dữ liệu nhanh chóng giữa GPU [3] [7].
Tóm lại, chip chuyển đổi NVLink tăng cường giao tiếp GPU trong kiến trúc GPU Blackwell bằng cách cung cấp kết nối trực tiếp, tốc độ cao giữa GPU, hỗ trợ triển khai GPU quy mô lớn và tối ưu hóa tập hợp dữ liệu và chuyển qua chức năng SẮC. Công nghệ này là mấu chốt để đạt được hiệu suất tăng tốc trong các ứng dụng AI và HPC.
Trích dẫn:
[1] https://training.continuumlabs.ai/infrastructure/servers-and-chips/nvlink-switch
[2] https://www.fibermall.com/blog/gpu-pcle-nvlink-nvswitch.htm
.
.
.
.
[7] https://www.nvidia.com/en-us/data-center/nvlink/
[8] https://blog.spheron.network/nvidias-blackwell-what-you-need-to-know-about-the-next-generation-of-gpus
[9] https://www.fster