Trening na enem jedru TPU v primerjavi z osmimi lahko znatno vpliva na uspešnost zaradi porazdeljene narave TPU -jev. Vsak TPU ima osem jeder in ta jedra so optimizirana za vzporedno obdelavo tenzorskih operacij, ki so temeljne za izračune nevronskih omrežij [8]. Pri uporabi enega samega jedra TPU model usposablja na tem specifičnem jedru, pri čemer uporablja svojo optimizirano arhitekturo za množice matrice [8]. Toda pri uporabi vseh osmih jeder se lahko postopek usposabljanja porazdeli po teh jedrih, kar lahko vodi v hitrejše čase treninga zaradi paralelizacije.
Na splošno uporaba več jeder omogoča boljšo uporabo virov TPU, kot so pasovna širina pomnilnika in medsebojne zmogljivosti, ki lahko izboljšajo celoten pretok usposabljanja [2]. To je še posebej koristno za obsežne modele ali nabore podatkov, kjer lahko vzporedna obdelava znatno skrajša čas treninga. Vendar je dejanski povečanje uspešnosti odvisno od tega, kako dobro sta model in podatki optimizirani za porazdeljeno usposabljanje na TPU.
V nekaterih primerih, če model ali podatki niso primerni za paralelizacijo v več jedrih, razlika v uspešnosti morda ne bo tako izrazita. Poleg tega lahko dejavniki, kot so I/O ozka grla ali kompleksnost modela, vplivajo na učinkovitost uporabe več jeder TPU [2]. Kljub temu za večino nalog strojnega učenja uporaba vseh osmih jeder TPU običajno ponuja boljše delovanje v primerjavi z uporabo samo enega jedra.
Navedbe:[1] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[2] https://eng.snap.com/training-models-with-tpus
[3] https://blog.google/technology/ai/difference-cpu-gpu-tpu-trillium/
[4] https://cloud.google.com/blog/products/ai-machine-learning/an-in--depth-look-googles-first-tensor-processing-unit-tpu
[5] https://www.linkedin.com/pulse/gpus-vs-tpus-Compation-Coparison-neural-Network-Workloads-JOEL
[6] https://www.reddit.com/r/machinelearning/comments/19e8d1a/d_when_does_make_make_sense_to_train_on_tpu/
[7] https://cloud.google.com/blog/products/compute/performance-per-dollar-of-gpus-and-tpus-za-aa-inference
[8] https://lingning.ai/docs/pytorch/1.6.0/accelerators/tpu.html