NSight Systems ist ein leistungsstarkes Tool, das die CPU-GPU-Interaktionen in Anwendungen visualisieren und analysiert und Einblicke in Leistungs Engpässe und Optimierungsmöglichkeiten bietet. So visualisiert es diese Interaktionen:
systemweite Leistungsanalyse
NSight Systems erfasst systemweite Aktivitätsdaten, einschließlich CPU- und GPU-Ereignisse, und zeigt sie auf einer einheitlichen Zeitleiste an. Mit dieser Zeitleiste können Entwickler feststellen, wie unterschiedliche Komponenten des Systems im Laufe der Zeit miteinander interagieren, um Korrelationen, Abhängigkeiten und Engpässe im Workflow der Anwendung zu identifizieren [3] [4].
CPU -Aktivitätsvisualisierung
NSIGHT -Systeme visualisieren die CPU -Aktivität, indem Threadzustände, Nutzung und Algorithmusausführung angezeigt werden. Dies hilft Entwicklern zu verstehen, wie CPU -Ressourcen verwendet werden und wo potenzielle Engpässe existieren könnten. Das Tool unterstützt die Multi-Process-Baumanalyse, sodass Benutzer die Aktivität mehrerer Prozesse und Threads gleichzeitig verfolgen können [1] [3].
GPU -Aktivitätsvisualisierung
Für die GPU-Aktivität bietet NSIGHT-Systeme detaillierte Einblicke in die GPU-Workloads, einschließlich Streaming-Multiprocessor (SM) -Optimierung, Speichertransfers und Kernelausführung. Es unterstützt die Verfolgung verschiedener GPU -APIs wie CUDA, Vulkan und OpenGL, wodurch Entwickler GPU -Rechen- und Grafikaufgaben in der Tiefe analysieren können [3] [4]. Das Tool bietet auch GPU -Metriken -Stichproben, die Metriken wie SM -Nutzung, Tensor -Kernaktivität und Anweisungsdurchsatz umfasst. Diese Metriken helfen Entwicklern dabei, die GPU -Leistung zu optimieren, indem sie Unterlastung oder Ineffizienzen bei der Verwendung von GPU -Ressourcen identifizieren [1] [3].
korrelierende CPU- und GPU -Ereignisse
Eines der Hauptmerkmale von NSIGHT -Systemen ist die Fähigkeit, CPU- und GPU -Ereignisse zu korrelieren. Durch die Visualisierung von CPU- und GPU -Aktivitäten in derselben Zeitleiste können Entwickler sehen, wie CPU -Operationen die GPU -Leistung beeinflussen und umgekehrt. Diese Korrelation ist entscheidend für die Identifizierung von Engpässen, die aufgrund von Wechselwirkungen zwischen CPU und GPU auftreten, wie z. B. Datenübertragungsverzögerungen oder Synchronisationsprobleme [3] [4].
Niedriges Overhead und Skalierbarkeit
NSIGHT SYSTEMS ist so konzipiert, dass er mit niedrigem Overhead arbeitet, um sicherzustellen, dass der Profilerstellungsprozess die Leistung der Anwendung nicht wesentlich beeinflusst. Dies macht es für die Analyse komplexer, groß angelegter Anwendungen, die auf verschiedenen NVIDIA-Plattformen ausgeführt werden, von Workstations bis hin zu Rechenzentren und Cloud-Umgebungen [3] [6].
Benutzeroberfläche und Navigation
Das Tool bietet eine benutzerfreundliche GUI, mit der Entwickler mithilfe von Scroll-Stangen, Mausrad und Tastaturverknüpfungen durch die Timeline-Ansicht navigieren können. Mit dieser Schnittstelle können Benutzer bestimmte Zeitbereiche oder Ereignisse vergrößern und eine detaillierte Analyse von Leistungsproblemen erleichtern [5] [9].
Insgesamt bietet NSIGHT Systems eine umfassende Sichtweise der CPU-GPU-Interaktionen, mit der Entwickler ihre Anwendungen für eine bessere Leistung und Effizienz auf einer Vielzahl von Plattformen optimieren können.
Zitate:
[1] https://extremecomputingtraining.anl.gov/wp-content/uploads/sites/96/2022/11/atpesc-2022-track-6-talk-2-keipert-nvidia.pdf
[2] https://bede-documentation.readthedocs.io/en/latest/software/tools/nSight-systems.html
[3] https://developer.nvidia.com/nSight-Systems
[4] https://indico.cern.ch/event/962112/contributions/4047370/attachments/2159916/3643963/nsight%20Systems%20-%20x86%20Inroduction%20-%20cern.pdf
[5] https://www.youtube.com/watch?v=tgchxcfm-yo
[6] https://docsnersc.gov/tools/performance/nvidiaProftools/
[7] https://www.youtube.com/watch?v=KKANP0KL_HK
[8] https://docs.nvidia.com/nSight-systems/userguide/index.html
[9] https://www.youtube.com/watch?v=dudgo66iAdu
[10] https://dev-discuss.pytorch.org/t/using-nSight-systems-to-profile-gpu-workload/59