Pytorch Lightning tegeleb TPU-de paralleelsusega, võimendades TPU arhitektuuri võimalusi, mis on optimeeritud suure läbilaskevõimega töökoormuseks, näiteks maatriksi korrutamiseks ja kokkuvetenduseks. TPU -dega treenimisel haldab Lightning automaatselt andmete jaotust TPU südamikus, tagades, et iga tuum töötleb andmete sobivat osa. See saavutatakse ilma hajutatud valimite käsitsi rakendamise vajaduseta, kuna välk lisab TPU koolituse automaatselt õiged proovivõtjad [7].
TPU -seadistuses korratakse mudelit igas seadmes ja Data Parallel Training võimaldab mudelil mahtuda ühele TPU -seadmele, samal ajal kui see replitseeritakse hajutatud konfiguratsioonis mitmetes seadmetes [6]. See lähenemisviis võimaldab suurte andmekogumite tõhusat paralleelset töötlemist, kiirendades märkimisväärselt treeninguaega.
TPU -de kasutamiseks koos Pytorch Lightninguga saate konfigureerida treenerit, täpsustades TPU tuumade arvu. Näiteks 8 südamikuga täieliku TPU -kauna kasutamiseks seadistaksite "TPU_CORES = 8` initsialiseerimisel [7]. See seadistamine võimaldab andmete sujuvat paralleelsust, ilma et oleks vaja andmete jaotuse selgesõnalist haldamist kogu TPU südamikus.
TPU -de optimaalseks jõudluseks on siiski oluline kaaluda selliseid tegureid nagu partii suurus, tensori hindamine, dünaamilised tensor -kujud ja ressursside piirangud, et tagada TPU ressursside tõhusa kasutamise [9].
Tsitaadid:]
[2] https://pytorch-lightning.readthedocs.io/en/1.1.8/multi_gpu.html
[3] https://pytorch-lightning.readthedocs.io/en/0.9.0/multi_gpu.html
[4] https://github.com/lightning-ai/pytorch-lightning/issues/11922
]
]
[7] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
]
]