Night Systems er et kraftfuldt værktøj designet til at visualisere og analysere CPU-GPU-interaktioner i applikationer, hvilket giver indsigt i ydelsesflaskehalse og optimeringsmuligheder. Sådan visualiserer det disse interaktioner:
System-dækkende præstationsanalyse
Night Systems indfanger systemdækkende aktivitetsdata, herunder både CPU- og GPU-begivenheder, og viser dem på en samlet tidslinje. Denne tidslinje giver udviklere mulighed for at se, hvordan forskellige komponenter i systemet interagerer med hinanden over tid, hvilket gør det lettere at identificere korrelationer, afhængigheder og flaskehalse i applikationens arbejdsgang [3] [4].
CPU -aktivitet visualisering
Nsight -systemer visualiserer CPU -aktivitet ved at vise trådtilstande, udnyttelse og algoritmeudførelse. Dette hjælper udviklere med at forstå, hvordan CPU -ressourcer bruges, og hvor der kan eksistere potentielle flaskehalse. Værktøjet understøtter multi-process træanalyse, hvilket giver brugerne mulighed for at spore aktiviteten af flere processer og tråde samtidigt [1] [3].
GPU -aktivitet visualisering
For GPU-aktivitet giver Night Systems detaljeret indsigt i GPU-arbejdsbelastninger, herunder streaming-multiprocessor (SM) optimering, hukommelsesoverførsler og kerneudførelse. Det understøtter sporing af forskellige GPU -API'er, såsom CUDA, Vulkan og OpenGL, hvilket gør det muligt for udviklere at analysere GPU -beregnings- og grafikopgaver i dybden [3] [4]. Værktøjet tilbyder også prøveudtagning af GPU -målinger, der inkluderer målinger som SM -anvendelse, Tensor Core -aktivitet og instruktionsgennemstrømning. Disse målinger hjælper udviklere med at optimere GPU -ydeevne ved at identificere underudnyttelse eller ineffektivitet i GPU -ressourceforbrug [1] [3].
Korrelerende CPU- og GPU -begivenheder
En af nøglefunktionerne i NSIGHT -systemer er dens evne til at korrelere CPU- og GPU -begivenheder. Ved at visualisere både CPU- og GPU -aktiviteter på den samme tidslinje, kan udviklere se, hvordan CPU -operationer påvirker GPU -ydeevne og vice versa. Denne korrelation er afgørende for at identificere flaskehalse, der forekommer på grund af interaktioner mellem CPU og GPU, såsom forsinkelser i dataoverførsel eller synkroniseringsproblemer [3] [4].
Lav overhead og skalerbarhed
Night Systems er designet til at fungere med lavt overhead, hvilket sikrer, at profileringsprocessen ikke påvirker applikationens ydelse. Dette gør det velegnet til at analysere komplekse, store applikationer, der kører på forskellige NVIDIA-platforme, fra arbejdsstationer til datacentre og skymiljøer [3] [6].
Brugergrænseflade og navigation
Værktøjet giver en brugervenlig GUI, der giver udviklere mulighed for at navigere gennem tidslinjevisningen ved hjælp af rullebjælker, mushjul og tastaturgenveje. Denne grænseflade gør det muligt for brugere at zoome ind på specifik tidsområder eller begivenheder, hvilket letter detaljeret analyse af præstationsproblemer [5] [9].
Generelt tilbyder Night Systems et omfattende overblik over CPU-GPU-interaktioner, hvilket gør det muligt for udviklere at optimere deres applikationer til bedre ydeevne og effektivitet på tværs af en lang række platforme.
Citater:
[1] https://extremecomputingtraining.anl.gov/wp-content/uploads/sites/96/2022/11/atpesc-2022-track-6-ralk-2-keipert-nvidia.pdf
[2] https://bede-documentation.readthedocs.io/en/latest/software/tools/night-systems.html
[3] https://developer.nvidia.com/night-systems
)
[5] https://www.youtube.com/watch?v=tgchxcfm-yo
[6] https://docs.nersc.gov/tools/performance/nvidiaproftools/
[7] https://www.youtube.com/watch?v=kkanp0kl_hk
[8] https://docs.nvidia.com/night-systems/userguide/index.html
[9] https://www.youtube.com/watch?v=dudgo66iadu
[10] https://dev-discuss.pytorch.org/t/using-night-system-to-profile-gpu- workload/59