Nvlink 5.0 est la dernière itération de Nvidia de sa technologie d'interconnexion à ultra-haute vitesse, conçue pour améliorer la communication directe entre plusieurs GPU dans un système. Cette technologie est particulièrement cruciale pour les charges de travail à forte intensité de GPU telles que la formation IA et l'informatique haute performance. Voici comment NVLink 5.0 gère le transfert de données entre plusieurs GPU:
Architecture et bande passante
Nvlink 5.0 est conçu pour l'architecture Blackwell et offre une augmentation significative de la bande passante par rapport à ses prédécesseurs. Chaque GPU Blackwell prend en charge jusqu'à 18 connexions NVLink, chaque lien fournissant une bande passante bidirectionnelle de 100 Go / s. Il en résulte une bande passante totale de 1,8 To / s par GPU, ce qui est le double de celui de la génération précédente et plus de 14 fois la bande passante de PCIe Gen5 [1] [2] [4].
Communication directe GPU-GPU
NvLink permet une communication directe entre les GPU sans avoir besoin d'un intermédiaire CPU, réduisant la latence et maximisant les performances. Cette architecture de connexion point à point garantit que chaque GPU a un lien dédié à tous les autres GPU, permettant des transferts de données rapides sans partage de bande passante [7].
commutateur nvlink pour l'évolutivité
La puce NvLink Switch joue un rôle essentiel dans la mise à l'échelle des connexions NVLink sur plusieurs GPU, à l'intérieur et entre les racks de serveur. Il facilite la communication de GPU tout à tous à la vitesse complète de NvLink, transformant efficacement un centre de données en un GPU géant. Cette configuration prend en charge jusqu'à 576 GPU entièrement connectés dans un tissu de calcul non bloquant, permettant des applications AI et HPC à grande échelle [1] [2] [4].
Opérations collectives avec Sharp
Chaque commutateur NVLink comprend des moteurs pour le protocole d'agrégation et de réduction hiérarchiques évolutifs de NVIDIA (Sharp), qui accélère les réductions en réseau et les opérations de multidiffusion. Ceci est essentiel pour les tâches collectives à grande vitesse dans les environnements AI et HPC, permettant un traitement efficace de grands ensembles de données et de modèles complexes [2] [4].
Applications et avantages
NvLink 5.0 est conçu pour soutenir le développement et le déploiement de modèles d'IA paramètres d'un trillion et d'applications informatiques exascales. En fournissant une communication efficace et efficace entre les GPU, il permet un échange et un traitement de données plus rapides, ce qui est essentiel pour des tâches de calcul complexes. Cette technologie fait partie intégrante des solutions du centre de données de NVIDIA, offrant une évolutivité et des performances sans précédent pour les plates-formes AI et HPC [1] [2] [4].
Citations:
[1] https://hardwarenation.com/resources/blog/nvidia-nvlink-5-0-accelerating-multi-gpu-communication/
[2] https://www.amax.com/fifth-generation-nvidia-nvlink/
[3] https://www.fibermall.com/blog/nvidia-nvlink.htm
[4] https://www.nvidia.com/en-us/data-center/nvlink/
[5] https://www.fs.com/blog/fs-an-verview-of-nvidia-nvlink-2899.html
[6] https://massedcompute.com/faq-answers/?question=How+Does+nvlink+handle+Data+Transfer+between+gpus+in+a+ystem+with+Multiple+gpus%3f
[7] https://www.amax.com/unleashing-next-level-gpu-performance-with-nvidia-nvlink/
[8] https://forums.developer.nvidia.com/t/nvlink-support-for-connecting-4-gpus/253975