Sparsecores в тензорных единицах обработки (TPU) особенно полезны для приложений искусственного интеллекта, которые в значительной степени полагаются на встраивания, такие как модели рекомендаций по глубокому обучению (DLRM). Эти модели широко используются в рекламе, рейтинге поиска и таких платформах, как YouTube. Sparsecores ускоряет обработку встраиваний путем превращения больших категориальных пространств в более мелкие плотные пространства, что имеет решающее значение для систем рекомендаций. Например, Sparsecores TPU V4 делает его в 3 раза быстрее, чем TPU V3 для рекомендательных моделей, и до 5-30x быстрее, чем системы на основе ЦП [1] [3].
Кроме того, Sparsecores выгодны в рейтинге и передовых рабочих нагрузках, где ультра-широкие встраивания распространены. Это дополнительно улучшается в более новых моделях TPU, таких как Trillium, которые интегрируют спаркоры третьего поколения для оптимизации производительности для этих конкретных задач [7]. В целом, любое приложение для искусственного интеллекта, которое включает в себя сложные встраиваемые или разреженные структуры данных, может значительно извлечь выгоду из возможностей Sparsecores в TPU.
Цитаты:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-lage-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehany-guide-tho-their-roles-and-in-in-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-dels-with-tpus
[7] https://futurumgroup.com/insights/the-future--ia-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-trillium-culd-transform-ai-and-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf