Sparseceres v tenzorových spracovateľských jednotkách (TPU) sú obzvlášť prospešné pre aplikácie AI, ktoré sa silne spoliehajú na vloženia, ako sú modely odporúčania hlbokého vzdelávania (DLRM). Tieto modely sa bežne používajú v reklame, hodnotení vyhľadávania a platformách ako YouTube. Sparseceres urýchľuje spracovanie vložení transformáciou veľkých kategorických priestorov na menšie husté priestory, čo je rozhodujúce pre odporúčané systémy. Napríklad riedky TPU V4 robia 3x rýchlejšie ako TPU V3 pre odporúčané modely a až 5-30x rýchlejšie ako systémy založené na CPU [1] [3].
Okrem toho sú sparsecores výhodné pri pracovnom zaťažení v hodnotení a pokročilých odporúčaniach, kde sú bežné ultra veľké vloženia. Toto sa ďalej vylepšuje v novších modeloch TPU, ako je Trillium, ktoré integrujú riedky tretej generácie na optimalizáciu výkonu pre tieto špecifické úlohy [7]. Celkovo môže akákoľvek aplikácia AI, ktorá zahŕňa komplexné vkladanie alebo riedke dátové štruktúry, významne ťažiť zo schopností riedkusov v TPU.
Citácie:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-oogles-cutting-edge-eduperComputer-Large-wanguage-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehension-guide-t-their-olles-and-imact-on-on-artificial-intelligencia
[3] https://www.vibranium.sg/post/introducing-tpu-v4-oogle-supercomputter-for-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-earning/introducing cloud-tpu-v5p-and--ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-oogles-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-hhy-oogles-trillium-could-transform-and-and-prloud-computing-and-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf