Kaip „Pytorch Lightning“ tvarko gradiento ryšį TPU

1. Paskirstyti mokymai: „Pytorch Lightning“ „Trener“ klasė valdo mokymo procesą, įskaitant paskirstytus mokymus per TPU šerdį. Jis naudoja „paskirstymoDataSampler“, kad būtų tinkamai paskirstyti duomenis kiekvienai TPU šerdyje [1].

2. Modelio replikacija: modelis atkartojamas kiekvienoje TPU šerdyje, leidžiantis lygiagrečiai apskaičiuoti. Šį replikaciją tvarko Pytorcho DDP strategija, kuri užtikrina, kad kiekvienas branduolys apdorotų dalį duomenų [1].

3. Gradiento ryšys: Apskaičiavus vietinius gradientus kiekvienoje šerdyje, „Pytorch Lightning“ naudoja XLA biblioteką, kad sinchronizuotų šiuos gradientus per branduolius. Tai pasiekiama atliekant „Allreduce“ operaciją, kuri surinko visų branduolių nuolydžius ir vienodai atnaujina modelio parametrus visose replikose [2].

4. Sinchroniniai atnaujinimai: „Optimizer_step (Optimizer“) „Pytorch / XLA“ ​​funkcija naudojama apskaičiuojant gradientus ir inicijuoti sinchroninius atnaujinimus. Tai užtikrina, kad visos modelio kopijos prasidėtų nuo tos pačios būsenos kiekvienoje mokymo iteracijoje, išlaikant nuoseklumą paskirstytoje aplinkoje [2].

Apskritai „Pytorch Lightning“ supaprastina TPU mokymo modelių procesą, automatizuodamas duomenų ir gradientų paskirstymą, leisdamas vartotojams sutelkti dėmesį į modelio kūrimą, nesijaudindami dėl pagrindinio paskirstyto mokymo sudėtingumo.