Les sparsecores dans les unités de traitement des tenseurs (TPU) sont particulièrement bénéfiques pour les applications d'IA qui s'appuient fortement sur des intégres, tels que les modèles de recommandation d'apprentissage en profondeur (DLRM). Ces modèles sont largement utilisés dans la publicité, le classement de recherche et les plates-formes comme YouTube. Les sparsecores accélèrent le traitement des intérêts en transformant de grands espaces catégoriels en espaces denses plus petits, ce qui est crucial pour les systèmes de recommandation. Par exemple, les SPARSECores de TPU V4 le rendent 3x plus rapidement que TPU V3 pour les modèles de recommandation et jusqu'à 5-30x plus rapidement que les systèmes basés sur CPU [1] [3].
De plus, les sparsecores sont avantageux dans le classement et les charges de travail de recommandation avancées, où des intérêts ultra-larges sont courants. Ceci est encore amélioré dans les nouveaux modèles TPU comme Trillium, qui intègrent des sparsecores de troisième génération pour optimiser les performances de ces tâches spécifiques [7]. Dans l'ensemble, toute application d'IA qui implique des incorporations complexes ou des structures de données clairsemées peut considérablement bénéficier des capacités des sparsecores dans les TPU.
Citations:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-superccomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-tofheir-roles-and-impact-on-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-superccomputer
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trerilium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-millium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf