SparseCores nelle unità di elaborazione del tensore (TPU) sono particolarmente utili per le applicazioni di intelligenza artificiale che si basano fortemente su integratori, come i modelli di raccomandazioni di apprendimento in profondità (DLRMS). Questi modelli sono ampiamente utilizzati nella pubblicità, nella classifica di ricerca e nelle piattaforme come YouTube. SparseCores accelera l'elaborazione di incorporamenti trasformando grandi spazi categorici in spazi densi più piccoli, che è cruciale per i sistemi di raccomandazione. Ad esempio, SparseCores di TPU V4 lo rendono 3x più veloce di TPU V3 per modelli di raccomandazione e fino a 5-30 volte più veloce dei sistemi basati su CPU [1] [3].
Inoltre, SparseCores sono vantaggiosi nella classifica e nei carichi di lavoro di raccomandazioni avanzate, in cui sono comuni incorporamenti ultra-grandi. Ciò è ulteriormente migliorato in nuovi modelli TPU come Trillium, che integrano SparseCores di terza generazione per ottimizzare le prestazioni per questi compiti specifici [7]. Nel complesso, qualsiasi applicazione di intelligenza artificiale che coinvolge incorporamenti complessi o strutture di dati sparse può beneficiare significativamente delle capacità di SparseCores nei TPU.
Citazioni:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge --supercomputer --large-language-models.html
[2] https://www.wovolver.com/article/tpu-vs-gpu-in-ai -a-comprehensive-guide-to-their-moles-and-impact-on-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-linguage-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-v-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-infrastructure-unpacking-googles-rillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-rillium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf