Jak mogę zoptymalizować prędkość kompilacji dla Pytorch i Pytorch/XLA

Optymalizacja prędkości kompilacji Pytorch

1. Użyj wstępnie zbudowanych plików binarnych: Zamiast budować ze źródła, użyj wstępnie zbudowanych binarów dostępnych na oficjalnej stronie Pytorch. Te binaria są zoptymalizowane z bibliotekami takimi jak MKL i Magma, które są kluczowe dla wydajności [5].

2. Optymalizuj proces kompilacji: Jeśli musisz budować ze źródła, użyj narzędzi takich jak „ccache` do plików skompilowanych pamięci podręcznej. To znacznie zmniejsza czas przebudowy po wprowadzeniu niewielkich zmian w kodzie [7].

3. Kompilacja równoległości: Użyj wielordzeniowych procesorów, ustawiając liczbę zadań kompilacji, aby pasować do liczby dostępnych rdzeni procesora. Można to zrobić za pomocą flag takich jak `-J` z„ Make ”lub podobnymi opcjami w systemie kompilacji.

Optymalizacja wydajności Pytorch/XLA

1. Użyj leniwego wykonania: Pytorch/XLA wykorzystuje wykonywanie Lazy Tensor, które rejestruje operacje na wykresie przed wykonaniem. Umożliwia to optymalizację poprzez łączenie wielu operacji w jedną zoptymalizowaną operację [4] [6].

2. Dane dotyczące ładowania wstępnego: Użyj `mpdeviceloader` do wstępnego ładowania danych na urządzeniach XLA, zmniejszając obciążenie komunikacyjne między procesorem hosta a urządzeniem [8].

3. Minimalizuj komunikację z urządzeniami do urządzenia procesowego: zmniejsz lub usuń operacje wymagające synchronizacji między urządzeniem CPU i XLA, takim jak instrukcje drukowania lub rejestrowanie zwrotów [8].

4. Użyj barier do optymalizacji: wstaw bariery takie jak `xmark_step ()`, aby podzielić duże wykresy obliczeniowe na mniejsze, umożliwiając kompilator XLA na bardziej efektywną ich optymalizację [8].

5. TPU w chmurze dźwigni: W przypadku szkolenia na dużą skalę wykorzystaj chmurę TPU z Pytorch/XLA, aby uzyskać wysokowydajny i opłacalny trening [2] [9].