Sparsecores в підрозділах обробки тензорів (TPU) особливо корисні для додатків AI, які сильно покладаються на вбудовування, такі як моделі рекомендацій з глибоким навчанням (DLRMS). Ці моделі широко використовуються в рекламі, рейтингу пошуку та таких платформах, як YouTube. Sparsecores прискорюють обробку вбудовування, перетворюючи великі категоричні простори на менші щільні простори, що має вирішальне значення для рекомендаційних систем. Наприклад, Sparsecores TPU V4 роблять його на 3 рази швидше, ніж TPU V3, для рекомендаційних моделей і до 5-30 разів швидше, ніж системи на основі процесора [1] [3].
Крім того, Sparsecores є вигідними при рангових та розширених робочих навантаженнях, де ультрасоврі вкладення є поширеними. Це ще більше посилюється в нових моделях TPU, таких як Trillium, які інтегрують Sparsecores третього покоління для оптимізації продуктивності для цих конкретних завдань [7]. Загалом, будь -яка програма AI, яка включає складні вбудовування або розріджені структури даних, може значно вигодити від можливостей Sparsecores в TPU.
Цитати:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-red-supercomputer-large language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehence-guide-to-their-roles-and-impact-on-artific-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-trillium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf