Tensorų perdirbimo įrenginių (TPU) sparsektoriai yra ypač naudingi AI programoms, kurios labai priklauso nuo įterpimų, tokių kaip giluminio mokymosi rekomendacijų modeliai (DLRM). Šie modeliai yra plačiai naudojami reklamoje, paieškos reitinge ir tokiose platformose kaip „YouTube“. „Sparsecores“ pagreitina įterpimų apdorojimą, paverčiant dideles kategorines erdves į mažesnes tankias erdves, o tai labai svarbu rekomendacinėms sistemoms. Pavyzdžiui, „TPU V4“ „Sparsecores“ jis daro 3x greičiau nei TPU V3, kad būtų galima rekomenduoti modelius ir iki 5–30x greitesnėms nei CPU pagrįstos sistemos [1] [3].
Be to, „Sparsecore“ yra naudinga reitinguojant ir pažangias rekomendacijas, kai įprasti ypač dideli įterpimai. Tai dar labiau patobulinta naujesniuose TPU modeliuose, tokiuose kaip „Trillium“, kurie integruoja trečiosios kartos „Sparsecores“, kad būtų optimizuotas šių specifinių užduočių našumas [7]. Apskritai, bet kuri AI programa, apimanti sudėtingus įterptuves ar nedideles duomenų struktūras, gali žymiai naudotis „Sparsecores“ galimybėmis TPU.
Citatos:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprhensive-guide-to-their-cold-and-impact-on-darficial-Intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hepercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-Trillium-tpus/
[8] https://www.zdnet.com/article/5-Reasons-why-googles trillium-could-transform-ai-and-cloud-computing ir-2-Obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf