Tensoritöötluse üksuste (TPU) SparseCod on eriti kasulikud AI -rakenduste jaoks, mis tuginevad suuresti manustamisele, näiteks sügava õppimise soovitusmudelitele (DLRMS). Neid mudeleid kasutatakse laialdaselt reklaamides, otsingu paremusjärjestuses ja platvormides nagu YouTube. SparseCores kiirendavad manuste töötlemist, muutes suured kategoorilised ruumid väiksemateks tihedateks ruumideks, mis on soovitussüsteemide jaoks ülioluline. Näiteks muudavad TPU V4 SparseCores 3x kiiremini kui TPU V3 soovitusmudelite jaoks ja kuni 5-30x kiiremini kui CPU-põhised süsteemid [1] [3].
Lisaks on SparseCores soodsad paremusjärjestuses ja täiustatud soovituste töökoormuses, kus tavalised on ultra-suured manustamised. Seda suurendatakse veelgi uuemates TPU mudelites nagu Trillium, mis integreerib kolmanda põlvkonna SparseCore, et optimeerida nende konkreetsete ülesannete jõudlust [7]. Üldiselt võib iga AI -rakendus, mis hõlmab keerulisi manustamisi või hõredaid andmestruktuure, oluliselt kasu TPU -de SparseCerese võimalustest.
Tsitaadid:]
]
]
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
]
[6] https://eng.snap.com/training-models-with-tpus
]
]
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf