Os Sparsecores nas unidades de processamento tensoras (TPUs) são particularmente benéficas para aplicativos de IA que dependem muito de incorporações, como modelos de recomendação de aprendizado profundo (DLRMs). Esses modelos são amplamente utilizados em publicidade, classificação de pesquisa e plataformas como o YouTube. Os Sparsecores aceleram o processamento de incorporações, transformando grandes espaços categóricos em espaços densos menores, o que é crucial para sistemas de recomendação. Por exemplo, os Sparsecores da TPU V4 tornam 3x mais rápido que a TPU V3 para modelos de recomendação e até 5-30x mais rápido que os sistemas baseados em CPU [1] [3].
Além disso, os Sparsecores são vantajosos nas cargas de trabalho de classificação e recomendação avançada, onde são comuns incorporações de ultra-grande. Isso é ainda mais aprimorado em modelos mais novos de TPU, como o Trillium, que integram os escassos de terceira geração para otimizar o desempenho dessas tarefas específicas [7]. No geral, qualquer aplicação de IA que envolva incorporações complexas ou estruturas de dados esparsas pode se beneficiar significativamente das capacidades dos Sparsecores nas TPUs.
Citações:[1] https://www.kdnuggets.com/2023/04/introducting-tpu-v4-googles-cutting-edge-supercomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprensivence-guide-to-their-trins-nd-impacto on-setificial-intelligência
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-trillium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf