Τα sparsecores σε μονάδες επεξεργασίας τανυστή (TPU) είναι ιδιαίτερα επωφελείς για εφαρμογές AI που βασίζονται σε ενσωμάτωση, όπως μοντέλα σύστασης βαθιάς μάθησης (DLRMS). Αυτά τα μοντέλα χρησιμοποιούνται ευρέως στη διαφήμιση, την κατάταξη αναζήτησης και τις πλατφόρμες όπως το YouTube. Οι Sparsecores επιταχύνουν την επεξεργασία των ενσωμάτωσης μετατρέποντας μεγάλους κατηγορηματικούς χώρους σε μικρότερους πυκνούς χώρους, κάτι που είναι ζωτικής σημασίας για τα συστήματα σύστασης. Για παράδειγμα, τα sparsecores της TPU V4 το καθιστούν 3 φορές ταχύτερο από το TPU V3 για μοντέλα σύστασης και έως και 5-30 φορές ταχύτερα από τα συστήματα που βασίζονται σε CPU [1] [3].
Επιπλέον, τα sparsecores είναι επωφελείς στην κατάταξη και την προηγμένη φόρτωση εργασίας της σύστασης, όπου οι εξαιρετικά μεγάλες ενσωμάτωση είναι κοινές. Αυτό ενισχύεται περαιτέρω σε νεότερα μοντέλα TPU όπως το Trillium, τα οποία ενσωματώνουν τα sparsecores τρίτης γενιάς για τη βελτιστοποίηση της απόδοσης για αυτά τα συγκεκριμένα καθήκοντα [7]. Συνολικά, οποιαδήποτε εφαρμογή AI που περιλαμβάνει πολύπλοκες ενσωμάτωση ή αραιές δομές δεδομένων μπορεί να επωφεληθεί σημαντικά από τις δυνατότητες των sparsecores σε TPUs.
Αναφορές:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercuper-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-a-comphenhence-guide-to-their-and-impact-on-artficial-intelligence
[3] https://www.vibranium.sg/post/
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-trillium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf