Pytorch ve Pytorch/XLA için yapı hızını nasıl optimize edebilirim

Pytorch Oluşturma Hızını Optimize Etme

1. Önceden inşa edilmiş ikili dosyalar kullanın: Kaynaktan bina yerine, Pytorch'un resmi web sitesinde bulunan önceden inşa edilmiş ikili dosyaları kullanın. Bu ikili dosyalar, performans için çok önemli olan MKL ve Magma gibi kütüphanelerle optimize edilmiştir [5].

2. Oluşturma işlemini optimize et: Kaynaktan oluşturmanız gerekiyorsa, derlenmiş dosyaları önbelleğe almak için `ccache` gibi araçları kullanın. Bu, kodda küçük değişiklikler yaptıktan sonra yeniden inşa sürelerini önemli ölçüde azaltır [7].

3. Derlemeye paralelleştir: Mevcut CPU çekirdeklerinin sayısına uyacak şekilde oluşturma iş sayısını ayarlayarak çok çekirdekli işlemcileri kullanın. Bu, yapım sisteminizde `` yap "veya benzer seçeneklerle` -j` gibi bayraklar kullanılarak yapılabilir.

Pytorch/XLA performansını optimize etmek

1. Tembel Yürütme: Pytorch/XLA, yürütmeden önce bir grafikte işlemleri kaydeden tembel tensör yürütmeyi kullanır. Bu, birden fazla işlemin tek bir optimize edilmiş işleme kaynaştırılmasıyla optimizasyona izin verir [4] [6].

2. Ön yük verileri: Verileri XLA cihazlarına önceden yüklemek için `mpDeviceloader 'kullanın ve ana bilgisayar CPU ve cihaz arasındaki iletişim yükünü azaltır [8].

3. CPU-cihaz iletişimini en aza indirin: CPU ve XLA cihazı arasında basılı ifadeler veya günlük geri çağrıları gibi senkronizasyon gerektiren işlemleri azaltın veya kaldırın [8].

4. Optimizasyon için engelleri kullanın: Büyük hesaplama grafiklerini daha küçük olanlara bölmek için `xm.mark_step ()` gibi bariyerleri ekleyerek XLA derleyicisinin daha etkili bir şekilde optimize etmesine izin verin [8].

5. Bulut TPU'larından yararlanın: Büyük ölçekli eğitim için, yüksek performans ve uygun maliyetli eğitim elde etmek için Pytorch/XLA ile bulut TPU'larını kullanın [2] [9].