La technologie NVINK-C2C joue un rôle crucial dans l'amélioration de la bande passante de mémoire dans des systèmes comme le DGX Spark en fournissant une interconnexion à large bande passante et à faible latence entre le GPU et le CPU. Cette technologie est particulièrement bénéfique dans les systèmes qui nécessitent une communication fréquente entre ces composants, tels que l'IA et les charges de travail informatiques à haute performance (HPC).
Améliorations clés
1. Bande passante élevée: NVINK-C2C offre une bande passante maximale de 900 Go / s, ce qui est nettement plus élevé que les connexions PCIE traditionnelles. Par exemple, PCIe Gen4 ne fournit que 64 Go / s de bande passante bidirectionnelle, tandis que NVINK-C2C atteint une augmentation de 14x par rapport à ce [1]. Cette bande passante élevée permet un transfert rapide de données entre le GPU et le CPU, ce qui est essentiel pour les grands modèles ou ensembles de données d'IA qui dépassent la capacité de mémoire du GPU.
2. LAFENCE BASSE: La latence dans NVINK-C2C est considérablement réduite par rapport aux connexions basées sur PCIE. Alors que le GPU H100 à l'aide de PCIE GEN5 a une latence d'environ 400 à 600 nanosecondes pour l'accès à la mémoire CPU à GPU, NVINK-C2C réduit cela à moins de 20 nanosecondes, atteignant une réduction de latence d'environ 95-97% [1]. Cette faible latence est essentielle pour les tâches nécessitant une coordination serrée du CPU-GPU et des transferts de données rapides.
3. Pool de mémoire unifié: NVINK-C2C permet la création d'un pool de mémoire unifié en permettant au GPU d'accéder directement à la mémoire du processeur. Cela signifie que le GPU peut utiliser le DRAM CPU comme s'il s'agissait d'une mémoire locale à large bande passante locale, éliminant efficacement les contraintes de capacité de mémoire GPU traditionnelles [1] [2]. Cette fonctionnalité est particulièrement bénéfique pour les grands modèles d'IA ou les ensembles de données qui nécessitent plus de mémoire que ce qui est disponible sur le GPU.
4. Cohérence de la mémoire: NVINK-C2C prend en charge la cohérence de la mémoire, qui garantit que les données sont cohérentes dans la mémoire CPU et GPU. Cela permet des primitives de synchronisation efficaces et réduit le besoin d'une gestion explicite de la mémoire par les développeurs [2]. La cohérence de la mémoire permet également une synchronisation légère entre les fils GPU et CPU, améliorant l'utilisation globale du système.
5. Évolutivité et efficacité énergétique: NVINK-C2C prend en charge l'évolutivité en permettant des configurations multi-GPU efficaces et est conçue pour être économe en puissance, en utilisant des techniques de signalisation avancées pour minimiser la consommation d'énergie [3] [4]. Cela le rend adapté aux environnements informatiques à grande échelle où les performances et l'efficacité énergétique sont cruciales.
En résumé, la technologie NVINK-C2C dans des systèmes comme le DGX Spark améliore considérablement la bande passante de la mémoire en fournissant une communication à grande vitesse et à faible latence entre le GPU et le CPU. Cela permet un traitement plus efficace des grands ensembles de données et des charges de travail en IA en créant un pool de mémoire unifié et en réduisant le besoin de gestion explicite de la mémoire.
Citations:
[1] https://www.supercluster.blog/p/nvidia-gpu-architecture-and-volution
[2] https://developer.nvidia.com/blog/nvidia-grace-hopper-superchip-architecture-in-depth/
[3] https://www.fibermall.com/blog/dgx-gh200.htm
[4] https://convergegegest.com/think-of-nvidia-blackwell-as-a-platform/
[5] https://www.reddit.com/r/localllama/comments/1hvlbow/to_understand_the_project_digits_desktop_128_gb/
[6] https://www.atlantic.net/gpu-server-hosting/nvidia-nvlink-how-it-works-use-cases-and-critical-best-pactices/
[7] https://chipsandcheese.com/p/grace-hopper-nvidias-halfway-apu
[8] https://www.naddod.com/blog/the-high-speed-road-of-gpus
[9] https://www.hpcwire.com/2024/07/15/researchers-say-memory-bandwidth-and-nvlink-espeeds-in-hopper-not-so-simple/
[10] https://www.amax.com/content/files/2023/12/nvidia_grace_cpu_superchip_enhanced_computing_whitepaper.pdf