Kuidas optimeerida Pytorchi ja Pytorchi/XLA ehituskiirust

Pytorchi ehituse kiiruse optimeerimine

1. Kasutage eelnevalt ehitatud binaare: Allikast ehitamise asemel kasutage Pytorchi ametlikult veebisaidilt saadaolevaid eelnevalt sisseehitatud binaare. Need binaarid on optimeeritud selliste raamatukogudega nagu MKL ja Magma, mis on jõudluse jaoks üliolulised [5].

2. Optimeerige ehitusprotsess: kui peate lähtest üles ehitama, kasutage kompileeritud failide vahemälu vahemälu vahemälu kasutamist. See vähendab oluliselt ümberehitusaegu pärast koodi väikeste muudatuste tegemist [7].

3. Paralleelne kompileerimine: kasutage mitmetuumalisi protsessoreid, määrates ehitamise tööde arvu, et see vastaks saadaolevate protsessori südamike arvule. Seda saab teha lippude abil nagu `-j` koos oma ehitamissüsteemis.

Pytorch/XLA jõudluse optimeerimine

1. Kasutage laisa täitmist: Pytorch/XLA kasutab laisa tensori täitmist, mis registreerib toimingud graafikul enne täitmist. See võimaldab optimeerida, sulatades mitu toimingut ühte optimeeritud toimingusse [4] [6].

2. Eelkoorme andmed: kasutage `mpDeviceloader'i andmeid XLA seadmetele, vähendades hostiprotsessori ja seadme vahelist suhtlust [8].

3. Minimeerige CPU-Device'i suhtlus: vähendage või eemaldage toiminguid, mis nõuavad sünkroonimist protsessori ja XLA seadme vahel, näiteks printimise avaldused või logimise tagasihelistamine [8].

4. Kasutage optimeerimiseks tõkkeid: sisestage tõkked nagu `XM.Mark_STEP ()`, et jagada suured arvutusgraafikud väiksemateks, võimaldades XLA kompilaatoril neid tõhusamalt optimeerida [8].

5. võimendus Cloud TPU-d: suuremahuliseks treenimiseks kasutage pilve TPU-d koos Pytorchi/XLA-ga, et saavutada suure jõudlusega ja kulutõhus koolitus [2] [9].