Treening ühe TPU südamikuga võrreldes kaheksaga võib TPU -de hajutatud olemuse tõttu jõudlust märkimisväärselt mõjutada. Igal TPU -l on kaheksa südamikku ja need südamikud on optimeeritud tensoroperatsioonide paralleelseks töötlemiseks, mis on närvivõrgu arvutuste jaoks põhimõttelised [8]. Ühe TPU südamiku kasutamisel treenib mudel sellel konkreetsel südamikul, võimendades maatriksi optimeeritud arhitektuuri korrutamisi [8]. Kõigi kaheksa südamiku kasutamisel võib treeningprotsess nende südamike vahel levitada, põhjustades paralleelsuse tõttu potentsiaalselt kiiremaid treeningiaegu.
Üldiselt võimaldab mitme südamiku kasutamine TPU ressursse, näiteks kõrgema mälu ribalaiuse ja ühendamise võimalusi paremini kasutada, mis võib parandada treeningu üldist läbilaskevõimet [2]. See on eriti kasulik suuremahuliste mudelite või andmekogumite jaoks, kus paralleelne töötlemine võib treenimisaega märkimisväärselt vähendada. Tegelik jõudluse suurendamine sõltub aga sellest, kui hästi mudel ja andmed on TPU -de hajutatud koolituse jaoks optimeeritud.
Mõnel juhul, kui mudel või andmed ei sobi paljude tuumade paralleelseks muutmiseks, ei pruugi jõudluse erinevus olla nii väljendunud. Lisaks võivad sellised tegurid nagu I/O kitsaskohad või mudeli keerukus mõjutada mitme TPU südamiku kasutamise tõhusust [2]. Sellegipoolest pakub enamiku masinõppe ülesannete jaoks TPU kõigi kaheksa südamiku kasutamine tavaliselt paremat jõudlust, võrreldes vaid ühe tuuma kasutamisega.
Tsitaadid:[1] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[2] https://eng.snap.com/training-models-with-tpus
[3] https://blog.google/technology/ai/difference-cpu-gpu-tpu-trillium/
]
]
]
]
[8] https://lightning.ai/docs/pytorch/1.6.0/accelerators/tpu.html