텐서 처리 장치 (TPU)의 Scrarsecores는 특히 딥 러닝 권장 모델 (DLRM)과 같은 임베딩에 크게 의존하는 AI 응용 분야에 특히 유리합니다. 이 모델은 광고, 검색 순위 및 YouTube와 같은 플랫폼에 널리 사용됩니다. Sparsecores는 대형 범주 공간을 더 작은 조밀 한 공간으로 변환하여 임베딩 처리를 가속화하여 권장 시스템에 중요합니다. 예를 들어, TPU V4의 Sparsecores는 추천 모델의 경우 TPU V3보다 3 배 빠르고 CPU 기반 시스템보다 최대 5-30x 더 빠릅니다 [1] [3].
또한, Sparsecores는 순위 및 고급 추천 워크로드에서 유리하며, 초대형 임베드가 일반적입니다. 이는 Trillium과 같은 새로운 TPU 모델에서 더욱 향상되어 3 세대 Sparsecores를 통합하여 이러한 특정 작업의 성능을 최적화합니다 [7]. 전반적으로, 복잡한 임베딩 또는 드문 데이터 구조를 포함하는 모든 AI 응용 프로그램은 TPU의 Sparsecores의 기능으로부터 크게 이익을 얻을 수 있습니다.
인용 :[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-ai-cormealgencious-guide-to-their-roles-n-trictificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-googles-trillium-tpus/
[8] https://www.zdnet.com/article/5-2asons-why-googles-trillium-could-transform-ai-and-cloud-computing-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf