Výcvik na jednom jadre TPU verzus osem môže významne ovplyvniť výkon v dôsledku distribuovanej povahy TPU. Každá TPU má osem jadier a tieto jadrá sú optimalizované na paralelné spracovanie tenzorových operácií, ktoré sú základom výpočtov neurónovej siete [8]. Pri použití jedného jadra TPU model trénuje na tomto konkrétnom jadre a využíva svoju optimalizovanú architektúru pre násobky matrice [8]. Pri používaní všetkých ôsmich jadier sa však môže tréningový proces distribuovať cez tieto jadrá, čo potenciálne vedie k rýchlejším časom tréningu v dôsledku paralelizácie.
Všeobecne platí, že použitie viacerých jadier umožňuje lepšie využitie zdrojov TPU, ako napríklad možnosti šírky pásma s vyššou šírkou pamäte a prepojenia, ktoré môžu zlepšiť celkovú priepustnosť tréningu [2]. Toto je obzvlášť prospešné pre rozsiahle modely alebo súbory údajov, kde paralelné spracovanie môže výrazne skrátiť čas tréningu. Skutočný zisk výkonnosti však závisí od toho, ako dobre sú model a údaje optimalizované pre distribuované školenie na TPU.
V niektorých prípadoch, ak model alebo údaje nie sú vhodné na paralelizáciu vo viacerých jadrách, rozdiel výkonnosti nemusí byť taký výrazný. Faktory, ako sú I/O prekážky alebo zložitosť modelu, môžu ovplyvniť účinnosť použitia viacerých jadier TPU [2]. Avšak pre väčšinu úloh strojového učenia, ktoré využíva všetkých osem jadier TPU, zvyčajne ponúka lepší výkon v porovnaní s použitím iba jedného jadra.
Citácie:[1] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[2] https://eng.snap.com/training-models-with-tpus
[3] https://blog.google/technology/ai/difference-cpu-gpu-tpu-trrillium/
[4] https://cloud.google.com/blog/products/aimachine-learning/an-in-depth-look-at-oogles-first-tensor-processing-unit-unit-tpu-tpu
[5] https://www.linkedin.com/pulse/gpus-vs-tpus-comprehension-comparison-eral-net-workworkloads-joel
[6] https://www.reddit.com/r/machinearning/comments/19e8d1a/d_when_does_it_make_sense_to_train_on_tpu/
[7] https://cloud.google.com/blog/products/compute/performance-per-dollar--gpus-and-tpus-for-ai-inference
[8] https://lighning.ai/docs/pytorch/1.6.0/accelerators/tpu.html