SPARSECORES dalam Tensor Processing Unit (TPU) sangat bermanfaat untuk aplikasi AI yang sangat bergantung pada embeddings, seperti Deep Learning Recoveration Model (DLRM). Model -model ini banyak digunakan dalam peringkat iklan, peringkat pencarian, dan platform seperti YouTube. Sparsecores mempercepat pemrosesan embeddings dengan mengubah ruang kategori besar menjadi ruang padat yang lebih kecil, yang sangat penting untuk sistem rekomendasi. Misalnya, sparsecores TPU V4 menjadikannya 3x lebih cepat dari TPU V3 untuk model rekomendasi dan hingga 5-30x lebih cepat dari sistem berbasis CPU [1] [3].
Selain itu, sparsecores menguntungkan dalam peringkat dan beban kerja rekomendasi lanjutan, di mana embedding ultra-besar adalah umum. Ini semakin ditingkatkan dalam model TPU yang lebih baru seperti Trillium, yang mengintegrasikan sparsecores generasi ketiga untuk mengoptimalkan kinerja untuk tugas-tugas spesifik ini [7]. Secara keseluruhan, aplikasi AI apa pun yang melibatkan embeddings yang kompleks atau struktur data yang jarang dapat secara signifikan mendapat manfaat dari kemampuan sparsecores dalam TPU.
Kutipan:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-google-cutting-edge-supercomputer-gruage-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-their-roles-dimpact-on-artificial-intelligence
[3.
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-kodels-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-google-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-google-trillium-could-transform-ai-and-cloud-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf