Pytorch Lightning apstrādā datus paralēlismu uz TPU, izmantojot TPU arhitektūras iespējas, kas ir optimizēta augstas caurlaidības darba slodzēm, piemēram, matricas reizinājumiem un konvolūcijām. Apmācot TPU, zibens automātiski pārvalda datu sadalījumu visos TPU kodolos, nodrošinot, ka katrs kodols apstrādā atbilstošo datu daļu. Tas tiek panākts bez nepieciešamības manuāli ieviest sadalītus paraugus, jo zibens ievieto pareizos paraugu ņemšanas līdzekļus TPU apmācībai [7].
TPU iestatījumā modelis tiek atkārtots katrā ierīcē, un datu paralēlā apmācība ļauj modelim ietilpst vienā TPU ierīcē, vienlaikus atkārtojot vairākās ierīcēs sadalītā konfigurācijā [6]. Šī pieeja ļauj efektīvi paralēli apstrādāt lielas datu kopas, ievērojami paātrinot apmācības laiku.
Lai izmantotu TPU ar pytorch zibens, varat konfigurēt `treneri`, norādot TPU kodolu skaitu. Piemēram, lai izmantotu pilnu TPU POD ar 8 kodoliem, `trenera" inicializācijā iestatītu `tpu_cores = 8`. Šī iestatīšana ļauj iegūt nemanāmu datu paralēlismu, neprasot skaidru datu izplatīšanas pārvaldību TPU kodolos.
Tomēr optimālai TPU veiktspējai ir svarīgi ņemt vērā tādus faktorus kā partijas lielums, tensora novērtēšana, dinamiskās tensora formas un resursu ierobežojumi, lai nodrošinātu efektīvu TPU resursu izmantošanu [9].
Atsauces:[1] https://pytorch-lightning.readthedocs.io/en/1.5.10/advanced/multi_gpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.1.8/multi_gpu.html
[3] https://pytorch-lightning.readthedocs.io/en/0.9.0/multi_gpu.html
[4] https://github.com/lightning-ai/pytorch-lightning/issues/11922
[5] https://www.restack.io/p/pytorch-lightning-answer-multi-cpu-usage-cat-ai
[6.]
[7] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[8] https://forums.fast.ai/t/how-to-create-a-callback-using-torch-multiprocessing-tpu/56264?page=7
[9] https://www.restack.io/p/pytorch-lightning-answer-set-device-cat-i