Sparsecores v jednotkách zpracování Tensoru (TPU) jsou zvláště prospěšné pro aplikace AI, které se silně spoléhají na vložení, jako jsou modely doporučení pro hluboké učení (DLRM). Tyto modely se široce používají v reklamě, hodnocení vyhledávání a platformách, jako je YouTube. Sparsecores urychlují zpracování vložení transformací velkých kategorických prostorů do menších hustých prostorů, což je zásadní pro systémy doporučení. Například sparsecores TPU V4 je 3x rychlejší než TPU V3 pro modely doporučení a až 5-30x rychlejší než systémy založené na CPU [1] [3].
Sparsecores jsou navíc výhodné při pracovním a pokročilém pracovním vytížení doporučení, kde jsou běžné ultra velké zabudování. To je dále vylepšeno v novějších modelech TPU, jako je Trillium, které integrují sparsecores třetí generace pro optimalizaci výkonu pro tyto specifické úkoly [7]. Celkově může jakákoli aplikace AI, která zahrnuje složité zabudování nebo řídké datové struktury, výrazně těžit z schopností sparsecores u TPU.
Citace:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-jazyk-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-their-roles-and-impact-on-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-S-supercomputer-for-Large-Language-Models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-a-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-parsons-why-googles---transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf