Vieno TPU branduolio mokymai, palyginti su aštuoniais, gali smarkiai paveikti našumą dėl paskirstyto TPU pobūdžio. Kiekvienas TPU turi aštuonias šerdes, ir šios branduoliai yra optimizuotos lygiagrečiai apdoroti tenzorių operacijas, kurios yra pagrindinės neuroninio tinklo skaičiavimams [8]. Naudojant vieną TPU branduolį, modelis treniruoja tą konkrečią branduolį, pasinaudodamas savo optimizuota matricos daugybe architektūra [8]. Tačiau naudojant visas aštuonis šerdes, treniruočių procesas gali pasiskirstyti per šias branduolius, o tai gali sukelti greitesnį treniruočių laiką dėl paralelizacijos.
Apskritai, naudojant kelis šerdes, galima geriau panaudoti TPU išteklius, tokius kaip didesnis atminties pralaidumas ir sujungimo galimybės, kurios gali padidinti bendrą treniruočių pralaidumą [2]. Tai ypač naudinga didelio masto modeliams ar duomenų rinkiniams, kuriuose lygiagretus apdorojimas gali žymiai sutrumpinti mokymo laiką. Tačiau tikrasis našumo padidėjimas priklauso nuo to, kaip gerai modelis ir duomenys yra optimizuoti paskirstytoms mokymams TPU.
Kai kuriais atvejais, jei modelis ar duomenys nėra tinkami paralelizavimui per kelias šerdes, našumo skirtumas gali būti ne toks ryškus. Be to, tokie veiksniai kaip I/O kliūtys ar modelio sudėtingumas gali paveikti kelių TPU branduolių naudojimo efektyvumą [2]. Nepaisant to, daugumai mašinų mokymosi užduočių, naudojant visas aštuonis TPU branduolius, paprastai pasižymi geresniu našumu, palyginti su tik vienu šerdimi.
Citatos:[1] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[2] https://eng.snap.com/training-models-with-tpus
[3] https://blog.google/technology/ai/difference-cpu-gpu-tpu-trillium/
[4] https://cloud.google.com/blog/products/ai-machine-learning/an-in-depth-look-at-googles-first-tensor-pracesing-unit-tpu
[5] https://www.linkedin.com/pulse/gpus-vs-tpus-comprhensive-comparion-netural-ntwork-works-joel
]
[7] https://cloud.google.com/blog/products/compute/performance-per-dollar-of-gpus-and-tpus-for-ai-inference
[8] https://lightning.ai/docs/pytorch/1.6.0/accelerators/tpu.html