Sparsecores w jednostkach przetwarzania tensorów (TPU) są szczególnie korzystne dla zastosowań AI, które w dużej mierze opierają się na osadzeniach, takich jak modele rekomendacji głębokiego uczenia się (DLRM). Modele te są szeroko stosowane w reklamie, rankingu wyszukiwania i platformach takich jak YouTube. Sparsecores przyspieszają przetwarzanie osadzania, przekształcając duże kategoryczne przestrzenie w mniejsze gęste przestrzenie, co jest kluczowe dla systemów rekomendacji. Na przykład Sparsecores TPU V4 sprawiają, że jest to 3x szybciej niż TPU V3 dla modeli rekomendacji i do 5-30x szybciej niż systemy oparte na procesor [1] [3].
Dodatkowo, sparsecores są korzystne w rankingu i zaawansowanych obciążeniach zaleceń, w których powszechne są bardzo duże osadzanie. Jest to dodatkowo zwiększone w nowszych modelach TPU, takich jak Trillium, które integrują sparskoorty trzeciej generacji w celu zoptymalizowania wydajności dla tych konkretnych zadań [7]. Ogólnie rzecz biorąc, każda aplikacja AI, która obejmuje złożone osadzanie lub rzadkie struktury danych, może znacząco skorzystać z możliwości Sparsecores w TPU.
Cytaty:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-thet-roles-and-impact-on-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-panguage-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-bloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-tillium-tpus/
[8] https://www.zdnet.com/article/5-rase-why-googles-tillium-could-transform-ai-andbloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf