SPARSECORES i tensorbearbetningsenheter (TPU) är särskilt fördelaktiga för AI -applikationer som starkt förlitar sig på inbäddningar, såsom djupinlärningsrekommendationsmodeller (DLRMS). Dessa modeller används ofta i reklam, sökrankning och plattformar som YouTube. Sparsecores påskyndar bearbetningen av inbäddningar genom att omvandla stora kategoriska utrymmen till mindre täta utrymmen, vilket är avgörande för rekommendationssystem. Till exempel gör TPU V4: s SPARSECORES 3X snabbare än TPU V3 för rekommendationsmodeller och upp till 5-30x snabbare än CPU-baserade system [1] [3].
Dessutom är sparsecores fördelaktiga i rankning och avancerade rekommendationsbelastningar, där ultravaliga inbäddningar är vanliga. Detta förbättras ytterligare i nyare TPU-modeller som Trillium, som integrerar tredje generationens sparsecorer för att optimera prestanda för dessa specifika uppgifter [7]. Sammantaget kan alla AI -applikationer som involverar komplexa inbäddningar eller glesa datastrukturer avsevärt dra nytta av sparsecors kapacitet i TPU: er.
Citeringar:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer
]
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-supercomputer-for-large-language-modeller
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-loud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-upacking-googles-trillium-tpus/
]
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf