Apmācība par vienu TPU kodolu un astoņiem var būtiski ietekmēt veiktspēju TPU izplatītā rakstura dēļ. Katrā TPU ir astoņi serdeņi, un šie serdeņi ir optimizēti paralēlai tensora operāciju apstrādei, kas ir būtiska neironu tīkla aprēķiniem [8]. Izmantojot vienu TPU kodolu, modelis vilcinās uz šī konkrētā kodola, izmantojot savu optimizēto arhitektūru matricas reizinājumiem [8]. Tomēr, lietojot visus astoņus serdeņus, apmācības process var izplatīties pa šiem kodoliem, potenciāli izraisot ātrāku apmācības laiku paralēles dēļ.
Parasti vairāku serdeņu izmantošana ļauj labāk izmantot TPU resursus, piemēram, augstāku atmiņas joslas platumu un starpsavienojuma iespējas, kas var uzlabot kopējo apmācības caurlaidspēju [2]. Tas ir īpaši izdevīgi liela mēroga modeļiem vai datu kopām, kur paralēlā apstrāde var ievērojami samazināt apmācības laiku. Tomēr faktiskais veiktspējas pieaugums ir atkarīgs no tā, cik labi modelis un dati tiek optimizēti izplatītai TPU apmācībai.
Dažos gadījumos, ja modelis vai dati nav labi piemēroti paralēlībai vairākos kodolos, veiktspējas atšķirība var nebūt tik izteikta. Turklāt tādi faktori kā I/O sašaurinājumi vai modeļa sarežģītība var ietekmēt vairāku TPU kodolu izmantošanas efektivitāti [2]. Neskatoties uz to, lielākajai daļai mašīnmācīšanās uzdevumu, izmantojot visus astoņus TPU kodolus, parasti piedāvā labāku sniegumu salīdzinājumā ar tikai viena kodola izmantošanu.
Atsauces:[1] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[2] https://eng.snap.com/training-models-with-tpus
[3] https://blog.google/technology/ai/diference-cpu-gpu-tpu-trillium/
:
[5] https://www.linkedin.com/pulse/gpus-vs-tpus-comprehensive-comparison-neural-network-workloads-joel
[6] https://www.reddit.com/r/machinelearning/comments/19e8d1a/d_when_does_it_make_sense_to_train_on_tpu/
[7] https://cloud.google.com/blog/products/compute/performance-per-dollar-of--gpus-and-tpus-for-ai-inference
[8] https://lightning.ai/docs/pytorch/1.6.0/accelerators/tpu.html