A Pytorch villám a TPU-kkal kapcsolatos adatok párhuzamosságát kezeli a TPU architektúra képességeinek kihasználásával, amelyet nagy áteresztőképességű munkaterhelésekre, például a mátrix szorzására és a konvolúciókra optimalizálnak. A TPU -kon történő képzés során a villám automatikusan kezeli az adatok eloszlását a TPU magokban, biztosítva, hogy minden mag feldolgozza az adatok megfelelő részét. Ezt az elosztott mintavevők kézi megvalósításának szükségessége nélkül érik el, mivel a Villám a megfelelő mintavevőket automatikusan beilleszti a TPU -edzéshez [7].
A TPU beállításában a modell minden eszközön replikálódik, és az adatok párhuzamos edzése lehetővé teszi a modell számára, hogy egyetlen TPU -eszközre illeszkedjen, miközben több eszközön keresztül replikálódik egy elosztott konfigurációban [6]. Ez a megközelítés lehetővé teszi a nagy adatkészletek hatékony párhuzamos feldolgozását, ami jelentősen felgyorsítja az edzési időket.
A TPU -k Pytorch villámlással történő felhasználásához a TPU magok számának meghatározásával konfigurálhatja a „edzőt”. Például, ha egy teljes tpu hüvelyt 8 maggal használ, a „tpu_cores = 8” beállítaná a „edző” inicializálásban [7]. Ez a beállítás lehetővé teszi a zökkenőmentes adatok párhuzamosságát anélkül, hogy az adatok eloszlásának kifejezett kezelését megkövetelné a TPU -magokban.
A TPU -k optimális teljesítménye érdekében azonban döntő fontosságú olyan tényezők figyelembevétele, mint például a tétel méret, a tenzor értékelése, a dinamikus tenzoros alakzatok és az erőforrás -korlátozások a TPU erőforrások hatékony felhasználásának biztosítása érdekében [9].
Idézetek:[1] https://pytorch-lightning.readthedocs.io/en/1.5.10/advanced/multi_gpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.1.8/multi_gpu.html
[3] https://pytorch-lightning.readthedocs.io/en/0.9.0/multi_gpu.html
[4] https://github.com/lightning-ai/pytorch-lightning/issues/11922
[5] https://www.restack.io/p/pytorch-lightning-answer-multi-cpu-usage-cat-ai
[6] https://cloud.google.com/blog/topics/developers-practioners/caling-deep-learning-workloads-pytorch-xla-and-cloud-tpu-vm
[7] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[8] https://forums.fas.ai/t/how-to-create-a-callback-using-torch-multiprocessing-tpu/56264?page=7
[9] https://www.restack.io/p/pytorch-lightning-answer-et-device-cat-ai