NSIGHT Systems, uygulamalarda CPU-GPU etkileşimlerini görselleştirmek ve analiz etmek için tasarlanmış güçlü bir araçtır, performans darboğazları ve optimizasyon fırsatları hakkında bilgi sağlar. İşte bu etkileşimleri nasıl görselleştiriyor:
Sistem çapında performans analizi
NSIGHT Systems, hem CPU hem de GPU olayları dahil olmak üzere sistem çapında etkinlik verilerini yakalar ve bunları birleşik bir zaman çizelgesinde görüntüler. Bu zaman çizelgesi, geliştiricilerin sistemin farklı bileşenlerinin zaman içinde birbirleriyle nasıl etkileşime girdiğini görmelerini sağlar ve bu da uygulamanın iş akışındaki korelasyonları, bağımlılıkları ve darboğazları tanımlamayı kolaylaştırır [3] [4].
CPU Etkinlik Görselleştirme
NSIGHT Systems, iplik durumlarını, kullanımını ve algoritma yürütülmesini göstererek CPU etkinliğini görselleştirir. Bu, geliştiricilerin CPU kaynaklarının nasıl kullanıldığını ve potansiyel darboğazların nerede bulunabileceğini anlamalarına yardımcı olur. Araç, kullanıcıların aynı anda birden fazla işlem ve iş parçacığının aktivitesini izlemelerine olanak tanıyan çok işlemli ağaç analizini destekler [1] [3].
GPU Etkinlik Görselleştirme
GPU aktivitesi için NSIGHT Systems, GPU iş yükleri hakkında akış çok yönlülüğü (SM) optimizasyonu, bellek transferleri ve çekirdek yürütme dahil olmak üzere ayrıntılı bilgiler sağlar. CUDA, Vulkan ve OpenGL gibi çeşitli GPU API'lerinin izlenmesini destekleyerek geliştiricilerin GPU hesaplama ve grafik görevlerini derinlemesine analiz etmelerini sağlar [3] [4]. Araç ayrıca SM kullanımı, tensör çekirdek aktivitesi ve talimat verimi gibi metrikleri içeren GPU metrikleri örneklemesi sunar. Bu metrikler, geliştiricilerin GPU kaynak kullanımındaki yetersiz kullanımı veya verimsizlikleri belirleyerek GPU performansını optimize etmelerine yardımcı olur [1] [3].
CPU ve GPU olaylarını korumak
NSight sistemlerinin temel özelliklerinden biri, CPU ve GPU olaylarını ilişkilendirme yeteneğidir. Hem CPU hem de GPU etkinliklerini aynı zaman çizelgesinde görselleştirerek, geliştiriciler CPU operasyonlarının GPU performansını nasıl etkilediğini görebilir ve bunun tersi de geçerlidir. Bu korelasyon, CPU ve GPU arasındaki etkileşimlerden kaynaklanan darboğazların veri aktarım gecikmeleri veya senkronizasyon sorunları gibi tanımlanması için çok önemlidir [3] [4].
düşük ek yük ve ölçeklenebilirlik
NSIGHT Systems, profil oluşturma işleminin uygulamanın performansını önemli ölçüde etkilememesini sağlayarak düşük yük ile çalışacak şekilde tasarlanmıştır. Bu, iş istasyonlarından veri merkezlerine ve bulut ortamlarına kadar çeşitli NVIDIA platformlarında çalışan karmaşık, büyük ölçekli uygulamaları analiz etmek için uygun hale getirir [3] [6].
Kullanıcı Arayüzü ve Gezinme
Araç, geliştiricilerin kaydırma çubukları, fare çarkı ve klavye kısayollarını kullanarak zaman çizelgesi görünümünde gezinmesine izin veren kullanıcı dostu bir GUI sağlar. Bu arayüz, kullanıcıların performans sorunlarının ayrıntılı analizini kolaylaştırarak belirli zaman aralıklarını veya olayları yakınlaştırmalarını sağlar [5] [9].
Genel olarak, NSight Systems, CPU-GPU etkileşimlerinin kapsamlı bir görünümünü sunar ve geliştiricilerin çok çeşitli platformlarda daha iyi performans ve verimlilik için uygulamalarını optimize etmelerini sağlar.
Alıntılar:
[1] https://extremecomputingtraining.anl.gov/wp-content/uploads/sites/96/2022/11/atpesc-2022-track-6-talk-2-eipert-nvidia.pdf
[2] https://bede-documentation.readthedocs.io/en/latest/software/tools/nsight-systems.html
[3] https://deceloper.nvidia.com/nsight-systems
[4] https://indico.cern.ch/event/962112/contributions/4047370/attachments/2159916/3643963/nsighttroduptroductionlar
[5] https://www.youtube.com/watch?v=tgchxcfm-yo
[6] https://docs.nersc.gov/tools/performance/nvidiaproftools/
[7] https://www.youtube.com/watch?v=kkanp0kl_hk
[8] https://docs.nvidia.com/nsight-systems/userguide/index.html
[9] https://www.youtube.com/watch?v=dudgo66iADU
[10] https://dev-discuss.pytorch.org/t/using-night-systems-to-profile-gpu-workload/59