Sparsecores i tensorbehandlingsenheder (TPU'er) er især fordelagtige for AI -applikationer, der stærkt er afhængige af indlejringer, såsom dybtindingsanbefalingsmodeller (DLRM'er). Disse modeller er vidt brugt i reklame, søgerangering og platforme som YouTube. Sparsecores fremskynder behandlingen af indlejringer ved at omdanne store kategoriske rum til mindre tætte rum, hvilket er afgørende for anbefalingssystemer. F.eks. Gør TPU V4s sparsecores det 3x hurtigere end TPU V3 til anbefalingsmodeller og op til 5-30x hurtigere end CPU-baserede systemer [1] [3].
Derudover er sparsecores fordelagtige i rangering og avanceret anbefaling arbejdsbelastning, hvor ultra-store indlejringer er almindelige. Dette forbedres yderligere i nyere TPU-modeller som Trillium, som integrerer tredje generations sparsecores for at optimere ydelsen til disse specifikke opgaver [7]. Generelt kan enhver AI -applikation, der involverer komplekse indlejringer eller sparsomme datastrukturer, betydeligt drage fordel af kapaciteterne i sparsecores i TPU'er.
Citater:)
)
)
[4] https://www.datacamp.com/blog/tpu-vs-gpu-i
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-i-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-i-infrastructure-unpacking-googles-trillium-tpus/
)
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf